Selepas lulus kuliah dari Universitas Hasanuddin, JK yang sangat aktif di organisasi kemahasiswaan saat kuliah melanjutkan bisnis ayahnya. Pada 1968, dia diangkat menjadi CEO NV Hadji Kalla.
Di bawah kepemimpinannya, perusahaan tersebut berkembang pesat, dari perusahaan ekspor impor menjadi ekspansi ke sejumlah sektor, seperti konstruksi, real estate, transportasi, dan lainnya. Grup Kalla, bisinis induk Jusuf Kalla, saat ini bahkan sudah menjadi gurita bisnis ke berbagai sektor.
Sektor transportasi dan logistik, Kalla Group memiliki usaha yang dirintis sejak 1952. Kini perkembangan bisnis Grup Kalla di bidang transportasi dan logistik telah berkembang dengan memiliki Kalla Lines, Kalla Transport, dan juga Kalla Logistics.
Sektor Konstruksi, Grup Kalla memiliki PT Karsa dan Kalla Aspal. Mengutip laman resmi perushaan, Bumi Karsa berdiri sejak 1969. Perusahaan ini bergerak di bidang jasa konstruksi dan pembangunan infrastruktur, terutama untuk pengembangan di wilayah Indonesia Timur.
Jasa konstruksi yang dihasilkan antara lain jalan, jembatan, bendungan, irigasi, pelabuhan, pusat perbelanjaan, gedung perkantoran, sekolah, universitas, rumah sakit, pabrik dan proyek strategis nasional.