Umar bin Khattab memberinya mandat untuk memerintah wilayah Al- Madaʾin. Dia tetap di sana sampai wafat setelah peristiwa pembunuhan Utsman dan empat puluh hari setelah pembaiatan Ali bin Abi Thalib. Peristiwa itu terjadi tahun 36 H.
Hudzaifah pergi menemui Nabi Ṣallallahu alaihi wasallam lalu diberi pilihan antara pergi berhijrah atau tidak pergi untuk membela Rasulullah, maka dia memilih tinggal membela Rasulullah.
Dialah adalah pemegang rahasia Nabi Ṣallallahu alaihi wasallam tentang nama orang-orang munafik, yang tidak diketahui oleh siapa pun kecuali Hudzaifah.
Nabi Ṣallallahu alaihi wasallam memberitahukan nama-nama mereka kepadanya, sampai-sampai Umar bertanya kepadanya, “Apakah di antara para bawahanku ada yang termasuk orang munafik?”. Dia berkata, “Ya, ada satu”. Dia berkata, “Siapa dia?”. Dia berkata, “Takkan aku sebutkan.” Hudzaifah berkata, “Lalu dia memecat orang itu, seolah-olah dia tahu yang dimaksud”.
Apabila ada salah seorang kaum muslimin yang wafat, Umar bin Khattab segera bertanya tentang Hudzaifah. Apabila Hudzaifah ikut menyalatkan jenazahnya, maka ia juga akan ikut menyalatkannya.
