Masih di universitas yang sama, Azyumardi menempuh studi di Departemen Sejarah dengan beasiswa Columbia President Fellowship yang diterimanya dari Columbia University. Ia pun meraih gelar MA keduanya pada 1989. Di tahun 1992, Azyumardi memperoleh gelar Master of Philosophy (M.Phil) dari Departemen Sejarah, Columbia University. Bukan hanya itu, gelar Doctor of Philosophy Degree juga mampu ia raih dari kampus tersebut.
Usai menimba ilmu di Amerika Serikat, Azyumardi kembali ke Tanah Air. Ia lalu mendirikan jurnal studi Islam bernama Studia Islamika pada 1993, sekaligus menjadi pemimpin redaksinya. Pada 1994-1995, ia mengunjungi Southeast Asian Studies di Oxford Centre for Islamic Studies, Oxford University, Inggris, sambil mengajar sebagai dosen di St. Anthony College.
Kemudian pada 1997, ia pernah menjadi profesor tamu pada Universitas Filipina dan Universitas Malaya, Malaysia.
Sebelum menempati posisi Rektor UIN Syarif Hidayatullah, Azyumardi Azra menapaki kariernya di kampus tersebut sebagai dosen Fakultas Adab dan Fakultas Tarbiyah pada 1992, lalu menjadi Guru Besar Sejarah Fakultas Adab dan Pembantu Rektor I pada 1998.
Ia pernah pula menjadi Professor Fellow di Universitas Melbourne, Australia (2004-2009), sebagai orang Asia Tenggara pertama yang didapuk posisi tersebut. Selain itu, ia juga menjadi anggota Dewan Penyantun (Board of Trustees) International Islamic University Islamabad Pakistan (2004-2009).
Beberapa penghargaan pernah diraih oleh Azyumardi. Antara lain, Penulis Paling Produktif dari Penerbit Mizan, Bandung tahun 2002 dan Sarwono Prawirohardjo Memorial Lecture (SML) dari Lembaga Ilmu Pengetahuan Indonesia (LIPI) pada 2017. Sedangkan di tahun 2010, ia menerima gelar kehormatan dari Kerajaan Inggris, yakni Commander of the Order of British Empire.