Pada masa kolonial Hindia Belanda menyerang Kesultanan Aceh, yakni 10 April 1873, masyarakat Aceh menggunakan Masjid Raya sebagai benteng pertempuran dan menyerang pasukan Royal Belanda dari dalam masjid.
Perjuangan masyarakat Aceh dilawan pasukan Royal Belanda dengan menembakkan suar ke atap masjid yang terbuat dari jerami hingga terbakar.
Usai kejadian itu, kemudian Jenderal Van Swieten berjanji kepada pemimpin lokal akan membangun kembali Masjid Baiturrahman dan menciptakan tempat yang hangat sebagai permintaan maaf.
Upaya ini dilakukan Belanda untuk mengurangi kemarahan masyarakat Aceh yang semakin memuncak setelah pembakaran tersebut.
Pada 9 Oktober 1879 Belanda membangun kembali Masjid Baiturrahman. Konstruksi dimulai pada 1879, ketika batu pertama diletakkan oleh Tengku Qadhi Malikul Adil yang kemudian menjadi imam pertama di Masjid Raya baru tersebut.
Pembangunan diselesaikan pada 27 Desember 1881 pada masa pemerintahan Sultan terakhir Aceh, Muhammad Daud Syah. Banyak orang Aceh yang awalnya menolak untuk beribadah di Masjid Raya Baiturrahman yang baru karena dibangun oleh orang Belanda yang dinilai sebagai musuh mereka.