Masa kecilnya dihabiskan di Kota Tuban sebelum ayahnya mengikuti mutasi dan berkarier di Jakarta pada 1952.
Ia merupakan anak ke enam dari sembilan bersaudara. Di antaranya Tonny Koeswoyo, Nomo Koeswoyo, dan Koesroyo alias Yok Koeswoyo yang ketiganya turut membangun cikal-bakal Koes Plus.
Pendidikan terakhir yang dikenyamnya meskipun tak selesai adalah jurusan Arsitektur di Universitas Res Publica yang sekarang adalah Universitas Trisakti pada 1965.
Bermusik hingga Dipenjara
Yon telah malang melintang di dunia musik sejak tahun '60-an hingga menjelang akhir hidupnya. Ia tak sendiri turun ke belantika musik Indonesia. Ia bersama saudara kandungnya termasuk Jon Koeswoyo, Tonny Koeswoyo dan Nomo Koeswoyo membuat grup bernama Kus Brothers pada 1958. Dalam grup musik itu, Yon memegang vokal bersama adiknya, Yok Koeswoyo. Berawal dari Kus Brothers, mereka kemudian merekam album pertama pada 1962 dan berganti nama menjadi Kus Bersaudara pada 1963. Sukses bermusik, Yon dan awak grupnya dibawa ke penjara di era Orde Lama. Mereka dianggap memainkan musik yang kebarat-baratan, di mana hal itu terlarang di era kepemimpinan Presiden Soekarno.
Mereka dipenjara di Penjara Glodok pada 29 Juni 1965. Yon berada satu sel bersama saudara-saudaranya, Tony, Nomo, dan Yok. Mereka kemudian dibebaskan pada 29 September 1965, tepat satu hari sebelum Gestok (Gerakan Satu Oktober) meletus.