Sejak berdirinya hingga sekarang masjid ini sudah mengalami beberapa kali renovasi. Awalnya masjid dibangun dengan rekonstruksi seutuhnya terbuat dari kayu, dengan bentuk sederhana dan letaknya berada di samping lokasi masjid yang sekarang. Karena terbuat dari kayu, bangunan masjid tidak bertahan lama karena lapuk sehingga harus dirobohkan.[4] Pada tahun 1922 masjid dibangun dengan material permanen oleh Pemerintah Hindia Belanda dengan gaya arsitektur Eropa. Namun masjid ini tidak menggunakan material besi atau tulang penyangga, melainkan hanya susunan batu bata dan semen saja.[5]
Pada tanggal 26 Desember 2004, gempa bumi dan tsunami meratakan seluruh rumah-rumah di sekitar masjid, Masjid Baiturrahim ini menjadi satu-satunya bangunan yang selamat di wilayah tersebut, alasannya adalah bangunan tersebut kokoh di antara tiang-tiang beton yang berdiri dan memiliki fondasi yang sangat kuat.
Galeri
Masjid Baiturrahim pada tahun 1929
Masjid Baiturrahim setelah tsunami 26 Desember 2004