Saat empat bank dimerger menjadi Bank Mandiri akibat krisis 1998/99, Zulkifli tetap dipercaya menduduki jabatan senior di bank tersebut. Dia menjadisenior manager dan team leader di divisi Credit Risk Management.
Kariernya terus menanjak dengan mengisi posisi Vice President & Division Head of Government Relationship Management dan Direktur Teknologi dan Operasional Bank Mandiri.
Pada 2010, Zulkifli ditunjuk untuk menjadi Direktur Utama Bank Mandiri. Dia mengisi posisi Agus DW Martowardojo yang diangkat menjadi menteri keuangan. Zulkifli menjabat sebagai bos Bank Mandiri sampai 2013 sebelum diganti oleh Budi Gunadi Sadikin.
Selepas tak menduduki posisi direksi, Ketua Umum Ikatan Bankir Indonesia (IBI) tersebut diminta menjadi komisaris. Pada 2013, dia ditunjuk menjadi Komisaris PT Bank Permata Tbk. Sejak 2015 hingga saat ini, dia menjadi Komisaris di PT Bank Negara Indonesia (Persero) Tbk atau BNI.