Sebagaimana Kesultanan Islam lainnya di Nusantara, Masjid Sultan Ternate dibangun di dekat Kedaton Sultan Ternate, tepatnya sekitar 100 meter sebelah tenggara kedaton.
Posisi masjid ini tentu saja berkaitan dengan peran penting masjid dalam kehidupan beragama. Tradisi atau ritual-ritual keagamaan yang diselenggarakan kesultanan selalu berpusat di masjid ini.
Masjid Sultan Ternate dibangun dengan komposisi bahan yang terbuat dari susunan batu dengan bahan perekat dari campuran kulit kayu pohon kalumpang.
Sementara arsitekturnya mengambil bentuk segi empat dengan atap berbentuk tumpang limas, di mana tiap tumpang dipenuhi dengan terali-terali berukir.
Arsitektur ini nampaknya merupakan gaya arsitektur khas masjid-masjid awal di Nusantara, seperti halnya masjid-masjid kuno di Jawa yang tak memiliki kubah, melainkan limasan.