Selanjutnya benteng ini dinamakan Benteng Gam Lamo atau Benteng Kastela. Nama Gam Lamo itu sendiri mempunyai dua makna, desa yang sangat besar atau kota yang besar.
Dalam perjalanan sejarahnya, Benteng Kastela beberapa kali menjadi saksi bisu dari peristiwa penting yang melibatkan Kesultanan Ternate dengan bangsa Portugis.
Salah satunya perjuangan rakyat Ternate yang dipimpin oleh Sultan Baabullah dalam melawan dan mengusir bangsa Portugis. Setelah pertempuran selama kurang lebih 5 tahun, Portugis berhasil diusir dari Ternate pada tahun 1575.