Bukti paling awal keberadaan Muslim di Danau-Danau Besar Afrika adalah fondasi sebuah masjid di Shanga di Pulau Pate, tempat koin emas, perak, dan tembaga yang berasal dari tahun 830 ditemukan selama penggalian pada tahun 1980-an. Masjid tertua yang masih berfungsi adalah masjid Kizimkazi yang berasal dari abad ke-11 atau awal abad ke-12.
Sejarah politik Islam di negara ini dapat ditelusuri hingga berdirinya Kesultanan Kilwa pada abad ke-10 oleh Ali Ibn Al Hassan Shirazi, seorang pangeran Persia dari Shiraz. Islam terutama menyebar melalui aktivitas perdagangan di sepanjang pantai Afrika Timur dan pada abad ke-16, Islam telah mapan di wilayah tersebut.
Meskipun Tanzania merupakan rumah bagi beberapa pos terdepan Muslim paling awal di Afrika sub-Sahara, Islam tidak menyebar ke pedalaman hingga abad ke-19. Hal ini disebabkan oleh daerah pedalaman pesisir yang kering dan tidak subur, dengan pusat populasi dan pertanian utama berada ratusan kilometer jauhnya di sekitar Danau-Danau Besar Afrika.
Selain itu, semua kebutuhannya dalam hal bahan makanan, gading, dan budak dipenuhi oleh daerah pedalaman terdekat atau oleh pedagang Bantu lokal seperti Nyamwezi. Jadi tidak ada insentif untuk mencoba ekspedisi yang mahal dan berisiko jauh ke pedalaman.
Hal ini berubah pada abad ke-19, ketika Kesultanan Zanzibar menyatukan negara-kota Swahili yang kecil dan saling bersaing, dan memperkuat praktik Islam di dalamnya. Hal ini juga menyebabkan banyak Muslim pindah dan beremigrasi ke daratan pedesaan.
