Amr bin Al Ash masuk Islam pada tahun 8 H setelah kegagalan Quraisy dalam perang Ahzab dan enam bulan sebelum penaklukkan Kota Mekah. Saat itu ia datang bersama Khalid bin Walid dan Utsman bin Thalhah ke Kota Madinah.
Ketika tiga orang ini menemui Rasulullah shallallahu alaihi wasallam, Rasulullah menatap ketiganya, lalu bersabda; “Mekah telah memberikan putra terbaiknya untuk kalian (umat Islam)”.
Di masa keislamannya, Rasulullah dekat kepadanya dan mendidiknya dengan pendidikan tauhid yang murni. Rasulullah tahu, Amr adalah orang yang istimewa, terkenal dengan keberanian dan bakat-bakat lainnya.
Pada masa Abu Bakar Ash Shiddiq, Amr bin Al Ash turut serta dalam memerangi orang-orang murtad. Setelah itu Abu Bakar mengangkatnya sebagai panglima salah satu pasukan yang diberangkatkan menuju wilayah Syam.
Lalu ia bergabung dengan Khalid bin Walid dalam Perang Yarmuk. Kemudian ia merampungkan penaklukkan wilayah Syam. Melalui pemimpin ulung ini, wilayah Gaza, Yafa, Rafah, Nabulus, dll. berhasil dikuasai kaum muslimin.
