Sekitar abad ke-7 hingga abad ke-6 SM, Al Ula diduga dihuni oleh kaum Tsamud dari Kerajaan Dedinate. Di antara abad ke-5 hingga abad ke-2 SM, Kerajaan Lihyan dibawah kepemimpinan Dinasti Nabatean mulai menghuni Al Ula.
Setelah ibu kota mereka, Petra, ditaklukan oleh bangsa Romawi. Dinasti Nabatea menjadikan Mada’in Saleh atau al-Hijr sebagai ibu kota yang baru dan mulai memahat kawasan pegunungan berbatu sebagai hunian.
Konon, kawasan ini dulunya disebut sebagai wilayah terkutuk dikarenakan orang-orang Nabatea menolak untuk meninggalkan kepercayaan mereka dan lebih memilih menyembah dewa-dewi. Masih banyak masyarakat Arab Saudi yang memercayai kawasan Al Ula sebagai tempat jin jahat dan perlu dihindari.
Sebuah riwayat diceritakan bahwa Nabi Muhammad SAW semasa hidupnya selalu mempercepat langkahnya ketika melewati Kota Al Ula. Bahkan saat berjalan melewatinya, Nabi Muhammad SAW menutup kepalanya dengan kain selendang.
"Janganlah kalian memasuki tempat tinggal orang-orang yang dzalim, kecuali sambil menangis. Karena apa yang menimpa mereka bisa menimpa kalian" (HR. Ahmad dan Bukhari).