Ia tak pernah absen untuk pergi ke Masjid Nabawi setiap hari, lalu shalat dua rakaat tahiyatul masjid kemudian duduk di bekas tempat Umar radhiyallahu anhu di Raudhah, yakni tempat antara kubur Nabi shallallahu alaihi wasallam dengan mimbarnya.
Selanjutnya berkumpullah murid-muridnya dari segala penjuru untuk menimba ilmu dari sumber yang segar dan bersih, melegakan jiwa-jiwa yang haus akan ilmu.
Tidak membutuhkan waktu lama, akhrinya Al Qasim bin Muhammad dan putra bibinya, Salim bin Abdullah bin Umar, menjadi dua imam Madinah yang terpercaya. Keduanya menjadi tokoh yang ditaati dan didengar tutur katanya kendati keduanya tidak memiliki wilayah jabatan ataupun kekuasaan.
Masyarakat mengangkat keduanya karena sifat takwa dan wara’nya. Juga karena pusaka yang berada di dalam dadanya berupa ilmu dan pemahamannya, ditambah lagi karena sifat zuhudnya terhadap apa yang dimiliki oleh manusia serta berharap banyak terhadap apa-apa yang berada di sisi Allah Subhanahu wa Ta’ala.
Martabat keduanya mencapai puncaknya hingga khalifah-khalifah Bani Umayah dan para bawahannya hormat kepadanya. Penguasa-penguasa tersebut tidak pernah memutuskan suatu masalah yang pelik kecuali setelah mendengarkan pendapat kedua ulama tersebut.
