Karier Herdman semakin menanjak ketika dipercaya menangani Timnas Putri Selandia Baru pada periode 2006 hingga 2011. Selama lebih dari lima tahun, ia sukses membangun skuad wanita yang kompetitif di panggung dunia.
Prestasi gemilang pun lahir. Herdman membawa Timnas Putri Selandia Baru lolos ke Piala Dunia Wanita FIFA 2007 dan 2011.
Langkah besar berikutnya diambil Herdman pada 2018 saat menerima tantangan melatih Timnas Putra Kanada. Keputusan ini terbukti monumental. Di bawah arahannya, Kanada berhasil menembus Piala Dunia 2022, penampilan perdana mereka dalam 36 tahun terakhir.
Tak sekadar lolos ke Piala Dunia, Herdman juga mengubah wajah Timnas Kanada menjadi kekuatan baru di kawasan CONCACAF. Ia bahkan mencatatkan sejarah sebagai satu-satunya pelatih yang mampu membawa tim nasional putri dan putra dari satu negara tampil di Piala Dunia. Pada tahun yang sama, Herdman juga sempat menangani Timnas U-23 Kanada.
Nama John Herdman pun harum di Kanada. Banyak pihak menilai dirinya meninggalkan fondasi kuat dan warisan penting bagi perkembangan sepak bola Negeri Daun Maple. Meski begitu, kebersamaannya dengan Timnas Kanada resmi berakhir pada 2023.