Pembangunan masjid ini selesai pada 1909 dan digunakan pertama kali untuk salat Jumat pada 10 September 1909 atau bertepatan dengan 25 Sya’ban 1329 Hijriah.
Ketika sudah berdiri dan resmi digunakan, Masjid Raya Al Mashun tampak megah serta memiliki sayap di sisi selatan, utara, timur, dan barat.
Sekilas, model bangunan Masjid Raya Al Mashun mengingatkan akan Masjid Raya Banda Aceh. Keempat bangunan sayap Masjid Raya Al Mashun ini mempunyai beranda dilengkapi pintu masuk dan tangga hubung karena antara pelataran dengan lantai utama masjid posisinya ditinggikan.
Bangunan masjid terbagi menjadi ruang utama, tempat berwudu, gerbang masuk dan menara. Ruang utama, tempat salat, berbentuk segi delapan tidak sama sisi. Pada bagian mihrab terbuat dari marmer dengan atap kubah runcing.
Jendela-jendela besar mengelilingi pintu beranda terbuat dari kayu dengan kaca-kaca patri unik dan akan memancarkan warna menarik ketika terkena sinar matahari. Ornamen dengan nilai estetika tinggi tecermin pada bagian dalam masjid seperti di dinding, plafon, tiang-tiang, dan permukaan lengkungan yang kaya dengan hiasan bunga dan tumbuh-tumbuhan dan kaligrafi Islam.
Masjid ini juga masih menyimpan mushaf Alquran tua berusia ratusan tahun yang dipajang di pintu masuk untuk jemaah laki-laki. Mushaf terbuat dari kertas kulit yang sangat tua, dibuat di Timur Tengah.
Walaupun merupakan tulisan tangan dan berusia tua, kitab suci ini tersebut masih utuh dan ayat-ayat yang tertera di dalamnya masih jelas untuk dibaca.