Selain itu, ia mempelajari berbagai ilmu praktis secara privat yang kelak ia ajarkan kepada murid-muridnya. Dengan dukungan abangnya, ia merintis Diniyah Putri pada 1 November 1923 yang tercatat sebagai sekolah agama Islam perempuan pertama di Indonesia.
Pada 1 November 1923, Rahmah membuka Madrasah Diniyah Li Al Banat sebagai bagian dari Diniyah School yang dikhususkan untuk murid-murid putri. Rahmah mengatur kegiatan belajar mengajar di masjid yang terletak berseberangan dengan rumah kediamannya di Jalan Lubuk Mata Kucing (sekarang Jalan Abdul Hamid Hakim), Pasar Usang, Padang Panjang.
Sewaktu pendudukan Jepang di Sumatra Barat, Rahmah memimpin Haha No Kai di Padang Panjang untuk membantu perwira Giyugun. Pada masa perang kemerdekaan, ia memelopori berdirinya TKR di Padang Panjang dan mengerahkan muridnya melawan penjajah sesuai kesanggupan mereka walaupun hanya menyediakan makanan dan obat-obatan.
Pada 7 Januari 1949, ia ditangkap oleh Belanda dan ditahan. Dalam pemilu 1955, Rahmah terpilih sebagai anggota DPR mewakili Masyumi, tetapi tidak pernah lagi menghadiri sidang setelah ikut bergerilya mendukung Pemerintahan Revolusioner Republik Indonesia (PRRI).
Keberadaan Diniyah Putri kelak menginspirasi Universitas Al Azhar membuka Kulliyatul Banat, fakultas yang dikhususkan untuk perempuan. Dari Universitas Al Azhar, Rahmah mendapat gelar kehormatan “Syekhah” yang belum pernah diberikan sebelumnya sewaktu ia berkunjung ke Mesir pada 1957, setelah dua tahun sebelumnya Imam Besar Al Azhar Abdurrahman Taj berkunjung ke Diniyah Putri.
Selama pemerintahan kolonial Belanda, Rahmah menghindari aktivitas di jalur politik untuk melindungi kelangsungan sekolah yang dipimpinnya. Ia memilih tidak bekerja sama dengan pemerintah jajahan.
