Dolly Rebecca Parton lahir pada 19 Januari 1946 di Locust Ridge, Tennessee, Amerika Serikat. Ia merupakan anak keempat dari 12 bersaudara yang lahir dari pasangan Robert Lee Parton dan Avie Lee Owens Parton.
Keluarga Parton hidup dalam kondisi ekonomi sederhana di kawasan Pegunungan Appalachia. Ayahnya bekerja sebagai petani dan pekerja konstruksi, sementara sang ibu merupakan perempuan yang memiliki kemampuan bermusik dan gemar menyanyikan lagu-lagu tradisional.
Dolly tumbuh dalam keluarga yang sangat dekat dengan musik. Sang ibu memperkenalkannya kepada musik gereja dan lagu-lagu tradisional Appalachia. Sejumlah saudara Dolly juga kemudian terjun ke dunia musik.
Kondisi masa kecil tersebut justru menjadi salah satu sumber inspirasi terbesar dalam karya-karyanya.
Lagu “Coat of Many Colors”, misalnya, terinspirasi dari pengalaman masa kecilnya ketika sang ibu membuatkan mantel dari kain-kain bekas. Dolly pernah bercerita bahwa pakaian tersebut membuatnya diejek teman-temannya di sekolah.