Mereka yang memang kompak, pindah ke Singapura pada 1842. Tapi, James kembali ke Penang pada 1853 seperti dilansir dari indonesia.go.id.
Sekembalinya ke Penang, James membeli dan menyunting koran Penang Gazette pada tahun 1853. Sementara itu adiknya yang ada di Singapura mendirikan koran Singapore Free Press. James meninggal dunia pada 1869.
Kematian James dianggap sebagai kehilangan besar bagi Penang. Warga Pulau Pinang pada waktu itu mendirikan monumen penghormatan untuk jasa-jasanya. Sifat-sifat James tertera dalam tugu memorial yang mencantumkan sifat-sifat mulianya, yakni temperance (kesederhanaan), justice (keadilan), fortitude (tabah, ulet), dan wisdom (bijak).