Hingga akhirnya dia kembali dipanggil Panglima ABRI. Pagi pukul 06.30 WIB pada 30 Agustus 1997, Sutiyoso sudah sampai kantor Feisal Tanjung di Jalan Medan Merdeka Barat. Yang sangat membuatnya terkejut ketika dia diinstruksikan untuk mengisi jabatan yang tak pernah terbayangkan sebelumnya.
“Kamu ditugaskan menggantikan Soerjadi,” kata Feisal. Soerjadi yang dimaksud tak lain Jenderal TNI (Hor) (Purn) Soerjadi Soedirdja, gubernur DKI Jakarta. Kontan, Sutiyoso kaget.
Dia tak langsung mengiyakan. Kepada Panglima dia meminta waktu berpikir lantaran tugas itu bukan perintah, melainkan tawaran. Di tengah kebimbangan, Sutiyoso pulang ke Semarang dan berkonsultasi dengan kakak tertuanya, Soeparto Tjitrodihardjo.
Dalam perenungan yang panjang dan hasil perbincangan tersebut, Yos akhirnya mengambil keputusan besar dalam hidupnya. Penunjukan sebagai gubernur DKI Jakarta pun diterima.
Pada Sidang Paripurna DPRD DKI Jakarta 6 Oktober 1997, Sutiyoso dilantik Menteri Dalam Negeri Yogie S Memet. Pelantikannya berdasarkan Keputusan Presiden RI Nomor 284/M Tanggal 18 September 1997. Bang Yos menjabat untuk periode 1997-2002.
Perjalanan sejarah akhirnya menempatkan Bang Yos sebagai orang nomor satu Jakarta selama 10 tahun. Pada 2002, dia bersama Fauzi Bowo kembali terpilih sebagai gubernur dan wakil gubernur DKI periode 2002-2007.
Yang menarik, dalam rentang waktu tersebut Sutiyoso mencatatkan sejarah unik tersendiri. Mantan Asisten Personel Kopassus ini menjadi satu-satunya gubernur DKI yang menyaksikan pergantian lima presiden RI. Dimulai dari Soeharto, BJ Habibie, KH Abdurrahman Wahid alias Gus Dur, Megawati Soekarnoputri dan Susilo Bambang Yudhoyono (SBY).