Setibanya di Madinah, beliau langsung menuju Masjid Nabawi. Beliau menambatkan ontanya di samping masjid, kemudian memasuki Masjid Nabawi setelah mengucapkan shalawat dan salam bagi Nabi shallallahu alaihi wasallam.
Beliau mendekati salah satu tiang masjid lalu shalat di sana. Usai shalat, Umar bin Khathab radhiyallahu anhu menghampirinya seraya bertanya; “Dari manakah asal Anda?”. Abu Muslim; “Saya dari Yaman”.
Umar; “Bagaimana kabar saudara kita yang hendak dibakar hidup-hidup oleh musuh Allah Subhanahu wa Ta’ala lalu Alah menyelamatkannya itu?”. Abu Muslim; “Alhamdulillah dia dalam keadaan baik”.
Umar; “Demi Allah, bukankah Anda orangnya?”. Abu Muslim; “Benar”. Maka Umar bin Khathab mencium antara kedua mata Abu Muslim.
Umar; “Tidakkah Anda mendengar berita tentang apa yang dilakukan Allah Subhanahu wa Ta’ala kepada musuh-Nya dan musuh Anda itu?”. Abu Muslim; “Tidak. Sejak meninggalkan Yaman, saya tak lagi mendengar beritanya”.
