Bangunan masjid ini tetap dalam keadaan aslinya hingga pada masa Abu Bakar, beliau tidak mengubahnya. Pada masa Umar memerintah, beliau mengubah tiang-tiangnya menjadi kayu dan melindungi atapnya dari hujan.
Lalu ketika Utsman menjadi khalifah, beliau melakukan banyak perubahan. Beliau membangun temboknya dengan batu-batu yang berukir dan kayu-kayu yang berasal dari India.
Ketika awal dibangunnya, Masjid Nabawi ini tidak memiliki mimbar untuk khotbah, Rasulullah shallallahu alaihi wasallam saat itu berkhotbah pada batang kurma. Tatkala mimbar untuk Rasulullah dibuat kemudian beliau menaiki mimbar tersebut untuk berkhotbah.
Maka kurma tersebut jatuh tersungkur dan merintih mengeluarkan suara kerinduan seperti suara unta yang rindu dan memanggil anaknya. Ini karena batang kurma itu terharu ketika mendengar khotbah Rasulullah shallallahu alaihi wasallam. Maka Rasulullah pergi merangkulnya sampai ia tenang seperti tenangnya bayi ketika dibuai. (HR. Bukhari, no. 3584-3585)
Alangkah indah apa yang dikatakan oleh Hasan al-Bashri setelah meriwayatkan hadis ini beliau berkata; “Batang kurma ini menangis wahai kaum muslimin, ia sebagai kayu merintih dengan suara tangis karena rindu sebab ditinggal oleh Rasulullah shallallahu alaihi wasallam. Bukankah manusia lebih berhak untuk rindu kepada beliau?”. (Dala’il Nubuwwah, oleh Al Baihaqi, 2:559)
