Berkat performa yang luar biasa, Koeman kemudian dibawa ke Barcelona oleh pelatih legendaris, Johan Cruyff pada 1989. Hasilnya sangat memuaskan, dia membantu Blaugrana meraih empat gelar La Liga, Copa del Rey 1989/1990, plus juara Piala Champions 1991/1992.
Setelah menjalani masa-masa sukses, Koeman meninggalkan Barcelona pada 1995. Dia kembali ke Belanda dan bergabung Feyenoord, sebelum pensiun pada 1997.
Setelah itu, Koeman belajar menangani tim dengan menjadi asisten pelatih Timnas Belanda, di bawah arahan Guus Hiddink.
Ketika Hiddink ditunjuk melatih Real Madrid, Koeman ikut pindah ke Spanyol. Hanya, dia bukan untuk membantu Hiddink di Madrid, melainkan menjadi asisten pelatih Barcelona, di bawah asuhan arsitek Belanda lainnya, Louis van Gaal. Selain itu, Koeman juga menjadi pelatih Barcelona B.
Setelah mendapat pengalaman, Koeman mulai melatih timnya sendiri, dimulai dari Vitesse pada 2000. Setahun kemudian, dia pindah ke Ajax dan menjalani kesuksesan dengan membawa timnya juara Eredivisie 2001/2002 dan 2003/2004.