Habib Abu Bakar menjadi yatim sejak berusia 2 tahun, tidak lama setelah beliau dan ayahnya, Habib Muhammad bin Umar bin Abu Bakar Assegaf pindah ke Gresik.
Ketika menginjak usia 8 tahun, beliau disuruh neneknya untuk menuntut ilmu ke Hadramaut, Yaman.
Sejak usia 3 tahun memang kecintaan Habib Abu Bakar Assegaf terhadap ilmu sudah terlihat.
Beliau mendapat banyak pelajaran di Hadramaut, dan dibimbing oleh para ulama besar di zamannya, termasuk pamannya sendiri yang menjadi gurunya di sana.
Habib Abu Bakar Assegaf/Kiri (Foto: Ist)
Rampung menempuh pendidikan di Hadramaut, Habib Abu Bakar Assegaf kembali ke Indonesia dan menuju ke kota kelahirannya, Besuki, untuk memperdalam ilmu agama yang telah beliau dapat.
Selama 3 tahun di Besuki, beliau kemudian pindah ke Gresik, tepatnya tahun 1305 Hijriah. Saat itu beliau masih berusia 20 tahun, dan rumah kediamannya tidak pernah sepi dari tamu.
Habib Abu Bakar bahkan diibaratkan sebagai 'Ratu Lebah' yang menghasilkan banyak madu, sehingga lebah-lebah kecil berdatangan kepadanya.