Pada akhir abad ke-15 kerajaan Hindu Majapahit mengalami kemunduran. Pada saat itu agama Islam di Jawa sudah dipeluk penduduk. Setelah Majapahit runtuh, kerajaan Islam berdiri di Demak, rajanya Raden Patah dengan sebutan Sultan. Ia mendapat dukungan para wali, yaitu Walisanga. Para wali ini yang mengajarkan dan mengembangkan agama Islam. Untuk memenuhi kebutuhan keagamaan, maka oleh para tokoh agama (sultan dan wali) di Demak didirikanlah masjid sebagai sarana ibadah, belajar, dan syiar Islam, pada tahun 1479 M. Setelah jadi, bangunan masjid menyiratkan arsitektur dari masa sebelumnya yang bersifat Hindu. Hal ini ditunjukkan pada bagian atas berbentuk limas, atap tumpang (susun tiga), yang mirip meru, bangunan suci agama Hindu. Arsitektur demikian dianggap merupakan karya asli bangsa Indonesia untuk bangunan suci yang mencerminkan filosofi kehidupan manusia dalam hubungannya dengan Tuhan YME. Atap susun 3 melambangkan akidah Islam; iman (akidah, keimanan), Islam (syariah), dan ihsan (perilaku Islami). Para wali sangat berperan dalam pendirian masjid. Tiang utama (saka guru) masjid dipercaya buatan 4 orang wali/sunan; Sunan Bonang-Tuban (barat laut), Sunan Gunungjati-Cirebon (barat daya), Sunan Ampel-Surabaya (tenggara), Sunan Kalijaga-Kadilangu Demak (timur laut, tiangnya terkenal dengan sebutan saka tatal). Wali, penyebar agama Islam juga melestarikan tradisi yang telah ada sepanjang tidak bertentangan dengan akidah agama Islam. Pada perkembangan selanjutnya arsitektur masjid Demak dipakai sebagai model arsitektur masjid di Jawa, termasuk masjid-masjid yang dibangun oleh pemerintah pada masa Orde Baru. Hal ini dapat dilihat pada atap tumpangnya yang bersusun tiga.