Sementara dia telah bertekad untuk memimpin sendiri peperangan melawan Irak. Dia telah menunjuk Ali bin Abi Thalib sebagai penggantinya di Madinah. Dalam keberangkatan ini dia membawa senior sahabat seperti Utsman bin Affan dan lain-lainnya. Kemudian dia menggelar musyawarah untuk membicarakan keinginannya tersebut.
Mereka berkumpul untuk shalat, sementara Umar telah mengirim utusan kepada Ali untuk turut menghadiri pertemuan tersebut. Maka Ali segera datang dari Madinah. Ketika semua telah berkumpul, Umar mengutarakan maksud hatinya.
Seluruhnya yang hadir menyetujui usulnya untuk berangkat sendiri menuju Irak kecuali Abdurrahman bin Auf yang memberikan usulan lain padanya.
Ia berkata, “Aku khawatir jika engkau kalah, maka kaum muslimin di seluruh penjuru bumi akan menjadi lemah, maka aku mengusulkan agar engkau mengutus seseorang dan engkau kembali ke Madinah.” Akhirnya Umar dan seluruh sahabat menerima dan membenarkan usul Abdurrahman ini.
Umar berkata padanya, “Siapa menurutmu yang akan kita kirim sebagai panglima ke Irak?”. Abdurrahman menjawab, “Aku telah menemukannya.”
