Nama ini merupakan penghargaan terhadap mantan Ketua BPK (alm) Jenderal M Jusuf, pencetus gagasan pembangunan kompleks masjid dan pendidikan Islam tersebut.
Namun kala itu Jenderal M Jusuf meminta kepada pengurus agar tidak menggunakan namanya untuk masjid kecuali jika 'waktunya sudah tepat'.
Para pengurus menafsirkan bahwa M Jusuf tidak menolak namun meminta penyematan nama tersebut dilakukan setelah beliau tiada.
Akhirnya disepakati, untuk sementara, nama yang digunakan untuk masjid yang berdiri di bekas kampus Universitas Hasanuddin itu Masjid Al Markaz Al Islami (Masjid Pusat Islam atau Masjid Islamic Center).
Hingga kini nama Al Markaz Al Islami itu tetap dipertahankan dan akan dilengkapi dengan nama pemrakarsa dan pendirinya, yakni Jenderal M Jusuf. Dengan demikian, masjid ini secara lengkap akan bernama Masjid Al Markaz Al Islami Jenderal M Jusuf.