Pada 1857, sebagai reaksi terhadap pemberontakan rakyat India yang sama sekali tak terduga, Kerajaan Inggris memilih pulau-pulau terpencil ini sebagai tempat buangan atau hukuman bagi para pemberontak.
Ketika penjajah Inggris pertama kali tiba pada 1858 dengan membawa 200 orang napi politik asal India, gugusan pulau ini masih berupa hutan belantara purba yang sulit ditembus.
Pulau Ross berukuran hampir 0,3 kilometer persegi dan pertama kali dipilih sebagai tempat hukuman bagi narapidana karena alasan ketersediaan air yang dianggap cukup. Karena tugas berat dan mematikan untuk membabat hutan yang lebat jatuh pada narapidana, para perwira Inggris memilih tinggal di atas geladak kapal.
Ketika jumlah tahanan terus bertambah, para narapidana kemudian dipindahkan ke penjara dan barak-barak di pulau terdekat. Pulau Ross lantas disulap sebagai kantor pusat administrasi serta lokasi hunian eksklusif bagi perwira tinggi beserta keluarganya.