Dalam 10 tahun, dia meraih gelar Sarjana Sains (BS) dari Universitas Negeri New York di Albany serta gelar Doktor Sains (PhD) dalam bidang kimia dari University of Illinois di Urbana-Champaign pada 1990.
Setelah itu dia bekerja sebagai peneliti pascadoktoral di Universitas Harvard dari 1990 hingga 1992 dan asisten profesor di Arizona State University hingga 1998.
Yaghi melanjutkan karier akademisnya di University of Michigan dari 1999 hingga 2006 sebagai profesor kimia, kemudian pindah ke University of California, Los Angeles. Pada 2012, dia bergabung dengan University of California, Berkeley, tempat dia saat ini mengajar.
Dia adalah pendiri Berkeley Global Science Institute, salah satu direktur Kavli Energy NanoSciences Institute dan Bakar Institute of Digital Materials for the Planet, serta anggota terpilih dari US National Academy of Sciences dan German National Academy of Sciences Leopoldina.
Yaghi juga menerbitkan lebih dari 300 publikasi dan dikutip lebih dari 250.000 kali, menunjukkan pengaruhnya yang besar dalam bidang kimia.