Pada 1946, Abdul Manaf yang baru dikarunia seorang anak bernama Suniyati, buah perkawinannya dengan Tsurraya, mengungsi ke rumah kerabatnya. Ia berpindah-pindah hingga akhirnya menetap di kampung Sukrenda, Ciomas, Serang, Banten selama lebih kurang 3 tahun. Di kampung inilah lahir anak keduanya bernama Saifuddin Arief.
Usai agresi militer Belanda ke-2, kira-kira tahun 1949 Abdul Manaf kembali ke Palmerah dan segera berinisiatif membangun kembali madrasah Islamiyah yang pernah ditutup tiga tahun sebelumnya.
Warga dan tokoh di Kebon Kelapa dilibatkan dalam pembangunan kembali madrasah itu dengan harapan madrasah bisa dibangun lebih luas. Tempatnya masih tetap di Kebon Kelapa Palmerah.
Bersama beberapa pemuka-pemuka masyarakat setempat, Abdul Manaf membangun madrasah dengan ukuran 11 x 25 meter. Kondisinya lebih baik daripada madrasah sebelumnya yang dibangun di atas tanah mililk orang tua. Madrasah Islamiyah di Petunduhan ini berlantai ubin, menggunakan atap genteng, dan dindingnya memakai tembok.
Seiring berjalannya waktu, Abdul Manaf makin mantap untuk memilih model pondok pesantren sebagai lembaga pendidikan yang akan dibangun di Ulujami. Selain berkonsultasi dengan rekan-rekannya, Abdul Manaf juga meminta masukan kepada gurunya di Jamiatul Khair, Ustadz Abdullah Arfan. Setelah membeli tanah di Ulujami, mantan gurunya itu ditemui.
Pada 1969 Mahrus Amin meminta izin memindahkan gedung Madrasah Ibtidaiyah yang sudah dibangun di Ulujami pada 1962 ke Petukangan untuk kegiatan belajar Madrasah Tsanawiyah Petukangan, Abdul Manaf tak menolaknya.
