Setelah itu, kota ini disebut dengan nama Madain Saleh yang artinya kota Nabi Saleh AS. Kota Madain Saleh ini dulunya dihuni oleh Kaum Tsamud dan Nabatea yang hidup sejak 3000 SM pada masa Nabi Nuh hingga Musa AS.
Diceritakan jika kaum Tsamud merupakan bangsa yang sangat unggul pada masanya. Mereka dikenal sebagai ahli matu serta berdagang dengan bangsa-bangsa lain.
Menurut laman resmi UNESCO, Mada'in Saleh menyimpan 114 makam kaum Nabatean. Selain itu, di tempat ini juga ada sumur yang menjadi sumber air minum unta Nabi Saleh AS.
Pada saat itu, kaum tsamud merupakan penyembah berhala sesuai yang telah dilakukan secara turun temurun oleh nenek moyang mereka.
Selain menyembah berhala, kaum Tsamud juga memiliki sifat yang sangat sombong dan sering merendahkan kaum lainnya.