Selama periode tersebut, hotel ini juga menambatkan enam perahu di Kali Besar untuk mengangkut barang dari pelabuhan Sunda Kelapa. Pada 1851, bangunan ini dibeli oleh Oey Liauw Kong, seorang kapten Cina di Batavia, untuk digunakan sebagai tempat tinggal dan toko. Bangunan tersebut kemudian dicat warna merah, dan karena itulah akhirnya bangunan ini dikenal sebagai Toko Merah.
Pada periode 1920-1940, bangunan ini dijadikan kantor untuk Bank voor Indie. Setelah kemerdekaan Indonesia, bangunan ini berubah fungsi lagi menjadi kantor berbagai BUMN. Saat ini, Toko Merah digunakan sebagai gedung pertemuan dan galeri komersial. Serta dijadikan tempat wisata populer di Kota Tua.
Lantas apa saja misteri toko merah Kota Tua yang dipercayai oleh masyarakat yakni mengenai legenda yang turun temurun selalu diceritakan. Menurut cerita rakyat, terjadi pembunuhan kaum etnis Tionghoa dan mayatnya dibuang di Kali Besar.
Selain itu, dari bangunan merah tersebut bisa melihat Kali Besar yang penuh darah. Apalagi, bangunan ini konon dijadikan tempat penyiksaan para gadis yang tidak wajar.
Selain itu banyak yang mendengar suara langkah prajurit, Nona Belanda mengenakan gaun, suara jeritan perempuan yang terus meminta tolong, serta banyak burung bertebangan di alamnya.