Tak sedikit pedagang keliling yang dibuat kebingungan, saat memasuki desa ini. Para pedagang yang bukan penduduk asli di desa tersebut sering dibuat tidak bisa menemukan jalan utama. Pada tahun 1908 M, luas wilayah Desa Siluman adalah kurang lebih 1.730,228 hektare, termasuk Desa Kadawung sekarang.
Pada Waktu itu Desa Siluman terbagi delapan dusun yaitu Dusun Siluman Kerajan, Dusun Siluman Girang, Dusun Siluman I, Dusun Siluman II, Dusun Bakan Subang, Dusun Cilekor, Dusun Bakan Pintu, dan Dusun Kadawung. Menariknya, menurut beberapa saksi sejarah menerangkan, keterangan tersebut informasinya dari keturunan orang yang masih hidup.
Pada tahun 1983, Desa Siluman telah mengalami pemekaran yaitu Dusun Cilekor, Dusun Kadawung, Dusun Bakan Pintu dimekarkan menjadi desa yang sekarang dengan nama Desa Kadawung. Maka, setelah mengalami pemekaran, Desa Siluman memiliki luas wilayah lebih kurang 716,928 hektare yang terdiri dari lima Dusun yaitu Dusun Siluman Kerajan, Dusun Siluman Girang, Dusun Siluman I, Dusun Siluman II dan Dusun Bakan Subang.
Saking terkenal mistis sejak dahulu kala, Desa Siluman pernah berganti nama menjadi Desa Margasari, tepatnya sekitar tahun 80-an. Namun, karena imbas pergantian nama itu dipercaya menjadi penyebab gagal panen di desa itu. Lantas, setelah bertahan selama tiga tahun dengan nama Desa Margasari, desa ini kemudian diganti lagi menjadi Desa Siluman hingga saat ini.
Ternyata, ada tujuan di balik ditulisnya sejarah Desa Siluman ini. Yakni agar warga masyarakat Desa Siluman terutama generasi penerus dapat terus mengetahui dan memahami tentang silsilah terbentuknya Desa Siluman sebagai tanah kelahirannya.