Menyingkap kembali sejarah awal pengwujudan sesuatu Kementerian sebenarnya lebih bertitik tolak kepada penubuhan jabatan-jabatan kecil pada zaman pemerintahan Inggeris khususnya apabila Inggeris memulakan campurtangan di Negeri-negeri Melayu selepas termeterainya Perjanjian Pangkor pada 17hb – 20hb Januari 1874.
Salah satu jabatan yang tertua diwujudkan oleh pemerintahan ‘Crown Colony’ sebelum Perjanjian Pangkor ialah ‘Public Works Department’ (PWD) atau kemudiannya dikenali sebagai Jabatan Kerja Raya (JKR) yang ditubuhkan pada tahun 1872.
Penubuhannya bertujuan untuk menyediakan infrastruktur bagi pembangunan sosio-ekonomi dan sistem politik kerajaan Inggeris di Negeri-negeri Selat yang terdiri daripada Singapura, Melaka, Perak (Dinding), Seberang Perai dan Pulau Pinang. Major J. FA Mcnair, bekas Jurutera Kolonial Negeri-negeri Selat adalah orang yang pertama dilantik mengetuai Jabatan Kerja Raya.
Detik Permulaan Jabatan-jabatan Kerajaan di Tanah Melayu
Kerajaan Inggeris telah mengambil langkah memisahkan pentadbiran Tanah Melayu (Malaya) daripada pentadbirannya yang berpusat di Singapura. Ini merupakan detik permulaan jabatan-jabatan kerajaan di Tanah Melayu dibenarkan melaksana polisi dan program masing-masing.
Pilihanraya Persekutuan yangPertama
Pilihanraya Persekutuan yang pertama peringkat Majlis Mesyuarat Perundangan menandakan saat peralihan kuasa di antara rakyat tempatan daripada pentadbiran Inggeris sebelum proses kemerdekaan Tanah Melayu dilaksanakan. Parti Perikatan iaitu gabungan Pertubuhan Kebangsaan Melayu Bersatu (UMNO), Persatuan Cina Se-Malaya (MCA) dan Kongres India Se-Malaya (MIC) telah memenangi 51 kerusi dan Parti Islam Se-Tanah Melayu (PAS) memperolehi satu kerusi.
Kementerian Kerja Raya Diwujudkan
Ketua Menteri dan beberapa orang Menteri telah dilantik mengetuai Kerajaan Persekutuan Tanah Melayu. Pada tahun yang sama, beberapa kementerian telah diwujudkan termasuklah Kementerian Kerja Raya dengan nama asalnya Kementerian Kerja Raya, Pos dan Telekom. Y.B. Encik Sardon bin Haji Jubir adalah Menteri pertama yang mengetuai Kementerian ini. Fungsi dan tanggungjawab Jabatan Kerja Raya telah dikekalkan dan diletakkan di bawah pentadbiran Kementerian ini. Pengarah Jabatan Kerja Raya pula bertanggungjawab kepada Menteri berhubung dengan perkara-perkara dasar Kementerian.
Penyusunan dan Penamaan Semula
Kementerian ini telah disusun semula dan dinamakan Kementerian Kerja Raya dan Pengangkutan. Perkembangan pesat pembangunan dan sosio-ekonomi negara dalam tahun 1970an telah menyebabkan fungsi dan peranan Kementerian ini bertambah.
Sesuai dengan peranan tersebut, pada tahun 1978 sekali lagi nama Kementerian ditukar kepada Kementerian Kerja Raya dan Kemudahan Awam.
Penyusunan dan Penamaan Semula
Selari dengan pengkhususan tanggungjawab, pada tahun 1980an Kerajaan telah mengambil keputusan menamakan Kementerian dengan nama Kementerian Kerja Raya Malaysia dan nama itu kekal sehinggalah sekarang.