Pada bulan November 2012, Arab Saudi menominasikan Madani untuk jabatan sekretaris jenderal Organisasi Kerjasama Islam (OKI) pada sesi ke-39 Dewan Menteri Luar Negeri negara-negara anggota OKI di Djibouti.
Pada tanggal 2 Februari 2013, Arab News melaporkan bahwa Madani akan menggantikan Ekmeleddin Ihsanoglu sebagai sekretaris jenderal OKI. Pengangkatannya diumumkan secara resmi setelah KTT OKI ke-12 di Kairo pada 8 Februari 2013. Masa jabatan Madani sebagai Sekretaris Jenderal OKI berlaku efektif sejak Januari 2014.
Madani mengundurkan diri dari jabatannya pada bulan Oktober 2016, dengan alasan masalah kesehatan, menyusul keluhan dari Mesir setelah dia mengejek Presiden Mesir Abdel Fattah el-Sisi karena mengklaim hanya memiliki air di lemari esnya hampir sepanjang hidupnya.(*)
