Istri pertama Abu Bakr Effendi berasal dari Erzurum dan memiliki anak darinya, tetapi anak-anak tersebut ditinggalkan di Kekaisaran Ottoman saat ia menjalankan misi ke Afrika Selatan.
Istri pertamanya di Afrika Selatan adalah Rukea Maker, yang konon merupakan putri seorang wanita Inggris dan seorang pria Muslim Cape, tetapi pernikahan ini berakhir dengan perceraian dan istrinya kawin lari.
Ia mengirim 2 putranya dari pernikahan ini ke Istanbul di bawah perlindungan Sultan Ottoman. Putrinya Fahimah adalah anak tertuanya dari pernikahannya dengan Maker. Namun, hal ini masih diperdebatkan karena Fahimah tidak memiliki akta kelahiran di Afrika Selatan, tidak seperti anak-anaknya yang lain.
Istri keduanya adalah putri seorang pembuat kapal dari Yorkshire, Inggris, Jeremiah Cook, yang merupakan kerabat penjelajah terkenal James Cook. Banyak keturunan Effendi berasal dari pernikahannya dengan Tohora Saban Cook, yang dengannya ia memiliki enam anak.
Kelima putranya adalah Ahmad Ataullah, Hisham Nimatullah, Omar Jalaluddin, Muhammad Alauddin, dan Hussain Fowzy. Beberapa putra Effendi bertugas di Angkatan Darat Ottoman dan berperang di Hejaz, melawan pemberontakan nasionalis Inggris dan Arab terhadap Kekaisaran Ottoman.
