Namun, jika diperhatikan lebih saksama, bangunan masjid tampak menyerupai kapal. Bentuk ini merupakan simbol Cheng Hoo sebagai seorang pelaut.
Masjid Muhammad Cheng Hoo ini mampu menampung sekitar 200 jamaah. Masjid ini berdiri di atas tanah seluas 21 x 11 meter persegi dengan luas bangunan utama 11 x 9 meter persegi.
Warna masjid didominasi oleh merah, hijau, biru, dan kuning. Dalam kepercayaan Tionghoa, warna merah menyimbolkan kebahagiaan, kuning untuk kemasyhuran, hijau merupakan simbol kemakmuran, dan biru bermakna harapan.
Masjid juga dilengkapi ornamen ala Tiongkok Klasik. Terlihat dari adanya relief naga dan patung singa yang terbuat dari lilin di bagian depan, dan atap bangunan yang menyerupai pagoda tiga tingkat dengan lafaz Allah di puncaknya.
Ketiadaan pintu menunjukkan keterbukaan, bahwa masjid merupakan tempat yang dapat digunakan oleh siapa pun tanpa memandang etnis untuk beribadah. Dengan filosofi ini, masjid diharapkan eksis sebagai jembatan bagi segala kebhinekaan Indonesia.