Setelah rampung menghafal Alquran di Al Kuttab, beliau kemudian beralih ke Masjidil Haram untuk menghadiri majelis-majelis ilmu di sana. Sekalipun hidup dalam kemiskinan, beliau tidak berputus asa dalam menimba ilmu. Beliau mengumpulkan pecahan tembikar, potongan kulit, pelepah kurma, dan tulang unta untuk dipakai menulis.
Sampai-sampai tempayan-tempayan milik ibunya penuh dengan tulang-tulang, pecahan tembikar, dan pelepah kurma yang telah bertuliskan hadits-hadits Nabi. Dan itu terjadi pada saat beliau belum lagi berusia baligh.
Sampai dikatakan bahwa beliau telah menghafal Al Quran pada saat berusia 7 tahun, lalu membaca dan menghafal kitab Al Muwaththa karya Imam Malik pada usia 12 tahun sebelum beliau berjumpa langsung dengan Imam Malik di Madinah.
Beliau juga tertarik mempelajari ilmu bahasa Arab dan syair-syairnya. Beliau memutuskan untuk tinggal di daerah pedalaman bersama suku Hudzail yang telah terkenal kefasihan dan kemurnian bahasanya, serta syair-syair mereka. Hasilnya, sekembalinya dari sana beliau telah berhasil menguasai kefasihan mereka dan menghafal seluruh syair mereka, serta mengetahui nasab orang-orang Arab, suatu hal yang kemudian banyak dipuji oleh ahli-ahli bahasa Arab yang pernah berjumpa dengannya dan yang hidup sesudahnya.
Namun, takdir Allah telah menentukan jalan lain baginya. Setelah mendapatkan nasehat dari dua orang ulama, yaitu Muslim bin Khalid Az Zanji (m ufti kota Mekkah), dan Al Husain bin Ali bin Yazid agar mendalami ilmu fiqih, maka beliau pun tersentuh untuk mendalaminya dan mulailah beliau melakukan pengembaraannya mencari ilmu.
Setelah kembali ke Mekkah, beliau kemudian melanjutkan mencari ilmu ke Yaman. Di sana beliau mengambil ilmu dari Mutharrif bin Mazin dan Hisyam bin Yusuf Al Qadhi, serta yang lain. Namun, berawal dari Yaman inilah beliau mendapat cobaan -satu hal yang selalu dihadapi oleh para ulama, sebelum maupun sesudah beliau.
