Benteng ini berbentuk persegi empat dengan lima ruangan, dilengkapi akses masuk pada tembok sebelah barat yang bisa membawa para jemaah masuk ke lapangan di bagian tengah. Di luar benteng, terdapat kolam yang menjadi sumber air bagi para jemaah haji dan pedagang yang lewat.
Tak lama, desa yang makmur pun muncul di sekitar Dhat Al-Hajj, memberikan tempat berteduh bagi para jemaah haji dan tempat berkumpul, serta berbagi cerita sembari bersantap. Lokasi ini, benteng dan desa, menjadi lebih penting lagi ketika jalur rel Hijazi dibangun pada awal abad ke-20.
Meski dinamakan Dhat Al-Hajj, benteng ini tak hanya menjadi tempat berkumpul para jemaah haji. Di luar musim haji, benteng ini pun tetap ramai digunakan sebagai tempat peristirahatan para pedagang yang menyusuri Shami Hajj.