Dalam kiprah politik, ia bergabung dengan Partai Golongan Karya dan pernah menjabat sebagai Wakil Presiden Indonesia selama dua periode masa jabatan secara tidak berturut-turut.
Periode pertamanya, pria yang populer dengan nama akronim JK ini maju sebagai calon wakil presiden mendampingi Susilo Bambang Yudhoyono. Keduanya merupakan rekan dalam Kabinet Gotong Royong. Mereka berhasil memenangkan Pemilu Presiden 2004.
Jusuf Kalla menjabat sebagai menteri pada era pemerintahan Abdurrahman Wahid (Presiden RI yang ke-4), tetapi diberhentikan dengan tuduhan terlibat KKN.
Jusuf Kalla kembali diangkat sebagai Menteri Koordinator Kesejahteraan Rakyat di bawah pemerintahan Megawati Soekarnoputri (Presiden RI yang ke-5). Jusuf Kalla kemudian mengundurkan diri sebagai menteri karena maju sebagai calon wakil presiden, mendampingi calon presiden Susilo Bambang Yudhoyono.
Dengan kemenangan yang diraih oleh Susilo Bambang Yudhoyono sebagai Presiden RI yang ke-6, secara otomatis Jusuf Kalla juga berhasil meraih jabatan sebagai Wakil Presiden RI yang ke-10. Bersama-sama dengan Susilo Bambang Yudhoyono, keduanya menjadi Presiden dan Wakil Presiden RI yang pertama kali dipilih secara langsung oleh rakyat.
Melalui Munas Palang Merah Indonesia XIX, Jusuf Kalla terpilih menjadi ketua umum Palang Merah Indonesia periode 2009–2014 dan terpilih untuk kedua kalinya pada Munas XX untuk periode 2014–2019.[5] Selain itu ia juga terpilih sebagai ketua umum Pengurus Pusat Dewan Masjid Indonesia periode 2012–2017 dalam Muktamar VI DMI di Jakarta.
