Sebelum menjadi sekjen pada 1 Januari 1997, menggantikan pendahulunya Boutros Boutros Ghali dari Mesir, dia lebih dulu menjabat wakil sekjen.
Setelah pensiun dari PBB, Annan pulang ke Ghana dan terlibat aktif di beberapa organisasi seperti Global Humanitarian Forum, The Elders, United Nations Foundation, One Young World, dan lainnya.
Pada Februari 2012, Annan dipercaya utusan khusus PBB-Liga Arab untuk konflik Suriah. Namun dia mengundurkan diri pada Agustus 2012 karena merasa usahanya tidak mengalami kemajuan. Alasannya masing-masing pihak bertikai punya keinginan masing-masing.
Setelah serangan di Menara Kembar World Trade Center (WTC), New York, pada 11 Setermber 2001, dia memainkan peran penting dalam mendorong Majelis Umum dan Dewan Keamanan untuk mengambil tindakan memerangi terorisme.
Annan dianugerahi Hadiah Nobel Perdamaian pada 2001 atas usahanya menciptakan dunia yang lebih teratur dan damai.
Hadiah Nobel Perdamaian justru menjadi pemicu baginya untuk terlibat dalam memediasi konflik. Terakhir, dia dipercaya PBB menjadi ketua tim krisis konflik Rohingya di Myanmar.
Dia menikahi Titi Alakija, seorang perempuan Nigeria yang kemudian dia ceraikan pada 1970-an. Hasil pernikahan dengan Alakija, dia dikaruniai dua anak, Ama dan Kojo. Setelah itu, Annan menikah lagi dengan Nane Lagergren, seorang pengacara asal Swedia.