Ditangkap oleh pasukan AS di Irak pada tahun 2006 dan ditahan selama lima tahun, Al Julani kemudian ditugaskan untuk mendirikan cabang Al Qaeda di Suriah, Front Al Nusra, yang memperluas pengaruhnya di wilayah yang dikuasai oposisi, terutama Idlib.
Al Julani berkoordinasi pada tahun-tahun awal tersebut dengan Abu Bakr Al Baghdadi, kepala Negara Islam di Irak Al Qaeda, yang kemudian menjadi ISIL (ISIS).
Pada April 2013, Al Baghdadi tiba-tiba mengumumkan bahwa kelompoknya memutuskan hubungan dengan Al Qaeda dan akan memperluas wilayah ke Suriah, yang secara efektif menelan Front Al Nusra ke dalam kelompok baru yang disebut ISIL.
Namun, Al Julani menolak perubahan ini dan mempertahankan kesetiaannya kepada Al Qaeda.
Dalam wawancara pertamanya di televisi pada tahun 2014, Al Julani menyampaikan kepada Al Jazeera bahwa Suriah harus diperintah berdasarkan interpretasi kelompoknya yaitu tentang 'hukum Islam', dan kaum minoritas di negara itu, seperti Kristen dan Alawi, tidak akan diakomodasi.