Dengan pembentukan komunitas-komunitas Muslim, beberapa buah masjid telah didirikan. Masjid yang paling penting di antaranya ialah Masjid Kobe yang didirikan pada tahun 1935, dan Masjid Tokyo yang didirikan pada tahun 1938.
Bagaimanapun, orang Jepang Muslim tidak mengambil bagian dalam pengelolaan masjid-masjid ini dan tidak terdapat orang Jepang yang menjadi imam, dengan pengecualian Syaikh Ibrahim Sawada, imam pada Ahlulbayt Islamic Centre di Tokyo.
Pada masa kini ketika Jepang menjadi salah satu tujuan pendidikan, usaha dan wisata yang populer, banyaknya pekerja, pelajar dan wisatawan muslim turut mempengaruhi perkembangan Islam disana.
Bandara-bandara internasional di Jepang berusaha menjadi lebih ramah kepada umat Islam dengan menyediakan fasilitas dan ruang ibadah di tengah kenaikan tajam pengunjung dari dunia Islam menyusul kelonggaran dari pemerintah Jepang tentang peraturan untuk mengeluarkan visa pada Juli 2013.
Kyoto, juga berencana menjadi kota yang ramah terhadap muslim. Pasca pembebasan visa pada Juli 2013, jumlah pengunjung muslim asal Malaysia ke Jepang meningkat dan mendorong pemerintahan di Kyoto mencari cara untuk memenuhi kebutuhan mereka.
