Pertengahan 1968, Bang Ali membentuk Dinas Museum dan Sejarah DKI Jakarta, lewat Keputusan Gubernur DKI Jakarta Nomor Ib.10/1/37/68 tanggal 28 Juli 1968. Disebut Ali dalam Gita Jaya: Catatan H. Ali Sadikin Gubernur Kepala DKI Jakarta 1966-1977 (1977), tugas pokok dinas tersebut adalah mengadakan penggalian, pemugaran, merawat, dan melindungi benda-benda bersejarah, baik berupa gedung, benda purbakala, naskah, serta membina dan mengembangkan museum-museum.
Melalui dinas tersebut Ali bergerak. Ia sadar, bangunan-bangunan lama di Jakarta adalah sejarah yang sudah lewat. Namun, tak patut dilupakan.
“Supaya kita sadar, penjajahan itu tidak boleh terulang lagi,” ujar Ali dalam buku Bang Ali: Demi Jakarta, 1966-1977. “Dan kalau melihat arsitekturnya, itu mempunyai ciri-ciri khusus.”
Maka, dimulailah penggalian, penelitian, dan pemugaran gedung-gedung peninggalan masa lampau di Jakarta. Untuk pemugaran tak sembarangan. Menurut Ali, kriterianya didasarkan atas nilai arsitektur maupun sejarah.