Menurut kisah yang beredar, dulunya rumah ini dihuni oleh perempuan bernama Erni bersama keluarganya. Mereka dibunuh secara kejam.
Selain itu petugas dan penjaga villa juga ikut dibunuh oleh orang tidak dikenal. Semenjak itu bangunan ini dikenal angker dan menyeramkan.
Dianggap angker karena terdapat kamar kosong misterius yang di dalamnya ada lukisan perempuan menggunakan baju putih dan berambut panjang. Perempuan tersebut merupakan pengusaha terkaya di Asia Tenggara pada abad ke-19 bernama Oei Tiong Ham.
Meski tidak ada kejadian mistis di tempat ini, namun banyak yang menganggap hotel ini angker karena memiliki desain bernuansa tradisional dan dipadukan dengan interior China sehingga memberikan kesan mistis dan seram.
Dulunya merupakan hotel mewah yang sering didatangi oleh tamu pemerintahan. Wisma ini dibangun pada 1928 dan pada masa itu diberi nama Hotel Splendit.