"Dia adalah seorang yang sangat percaya pada kemampuan orang Ghana untuk merencanakan jalannya sendiri, menuju kemajuan dan kemakmuran," katanya.
Annan dikuarinia tiga anak dari dua kali pernikahannya. Pertama dia menikah dengan Titi Alakija, seorang perempuan Nigeria yang kemudian diceraikan pada 1970-an. Hasil pernikahan dengan Alakija dikaruniai dua anak, Ama dan Kojo.
Setelah itu, Annan menikah lagi dengan Nane Lagergren, seorang pengacara asal Swedia. Sebelum meninggal, dia dan keluarganya bermukim di Swiss.