Yayasan Pesantren Islam (YPI) Al-Azhar didirikan pada tanggal 7 April  1952 oleh 14 orang tokoh Islam dan pemuka masyarakat di Jakarta, dengan nama Yayasan Pesantren Islam. Salah seorang pencetus gagasan pendirian yayasan ini adalah dr. Syamsuddin, Menteri Sosial RI ketika itu, yang didukung oleh Sjamsuridjal, yang pada waktu itu adalah Walikota Jakarta Raya. Sedangkan nama-nama pendiri yayasan selengkapnya adalah: Soedirdjo, Tan In Hok, Gazali Syahlan, H. Sjuaib Sastradiwirja, Abdullah Salim, Rais Chamis, Ganda, Kartapradja, Sardjono, H. Sulaiman Rasjid, Faray Martak, Jacub Rasjid, Hasan Argubie dan Hariri Hady.

Jajasan Pesantren Islam memperoleh sebidang tanah yang terletak di daerah Kebayoran yang pada waktu itu merupakan daerah satelit dari Ibukota Jakarta. Di atas tanah itulah pada tahun 1953 mulai dilaksanakan pembangunan sebuah masjid besar dan rampung pada tahun 1958, yang kemudian dinamakan Masjid Agung Kebayoran.

Pada tahun 1961 Mahmoud Syaltout, Grand Syekh Al-Azhar Cairo ketika itu,  mengunjungi tanah air sebagai tamu negara dan menyempatkan diri singgah di Masjid Agung Kebayoran. Kedatangan beliau disambut oleh sahabatnya Buya Prof. Dr. Hamka, Imam Masjid Agung Kebayoran, yang dua tahun sebelumnya dianugrahi gelar Doctor Honoris Causa (Ustadziyah Fakhriyah) oleh Universitas Al-Azhar Cairo. Dalam kesempatan itu Syekh Prof. Dr. Mahmoud Syaltout berkenan memberikan nama Al-Azhar untuk masjid tersebut sehingga nama resminya menjadi Masjid Agung Al-Azhar.

Seiring dengan perkembangan zaman dan kebutuhan umat, aktifitas di Masjid Agung Al-Azhar terus tumbuh dan berkembang. Awalnya kegiatan ibadah dan dakwah hanya diikuti oleh masyarakat sekitar, termasuk para pengayuh beca dan kuli bangunan. Kini jamaah Masjid Agung Al-Azhar datang dari berbagai lapisan umat, tidak saja mereka yang bermukim di kawasan elite Kebayoran Baru, Jakarta Selatan, bahkan dari luar daerah seperti Tangerang, Bekasi , Depok, Bogor dan lain-lain.

Semaraknya kegiatan-kegiatan pembinaan ummat dan syiar Islam di Masjid Agung Al-Azhar tidak dapat dilepaskan dari peran Buya Prof. Dr. Hamka sebagai Imam Besar di masjid ini. Figur Buya yang ceramah-ceramahnya senantiasa membawa kesejukan dengan pilihan kalimat-kalimat yang santun, telah mengikat perhatian ummat di berbagai pelosok, terutama melalui acara Kuliah Subuh yang disiarkan oleh RRI. Di samping membina berbagai aktifitas pengajian, majelis taklim, kursus-kursus agama Islam, Buya Prof. Dr. Hamka juga mendorong tumbuh dan berkembangnya sekolah-sekolah Islam Al-Azhar yang berpusat di kompleks Masjid Agung Al-Azhar. Kegiatan dakwah dan sekolah-sekolah tersebut, kian hari semakin mendapat tempat di hati masyarakat dan menambah harum nama Al-Azhar di tengah-tengah ummat, tidak saja di Ibukota  Jakarta dan sekitarnya tapi juga sampai ke berbagai daerah di tanah air.

Buya Prof. Dr. Hamka yang kebetulan bertempat tinggal di Jl. Raden Patah III, Kebayoran Baru, Jakarta Selatan, terletak bersebelahan dengan Masjid Agung Al-Azhar, telah memimpin pelaksanaan ibadah sehari-hari dan pengajian di masjid tersebut sejak pertama kali digunakan pada tahun 1958. Kajian tafsir Al-Quran yang merupakan materi Kuliah Shubuh setiap hari di Masjid Agung Al-Azhar dan kemudian dimuat secara bersambung  pada majalah Gema Islam sejak tahun 1962, akhirnya diterbitkan dengan nama Tafsir Al-Azhar sebanyak 30 juz lengkap  yang mendapat sambutan baik dari masyarakat hingga sekarang.

Saat ini terdapat lebih dari 25 kelompok kegiatan yang sehari-hari menyemarakkan kehidupan beragama di kompleks Masjid Agung Al-Azhar, dengan beragam bentuk dan corak aktifitas, seperti majelis taklim, pengajian, kursus, ceramah umum, diskusi, pelayanan kesehatan, pelayanan jenazah, bimbingan perjalanan haji dan umrah, pencak silat, madrasah diniyah (PIA), pendidikan formal – dari taman   kanak-kanak hingga perguruan tinggi – sampai pada pelayanan perbankan dan travel biro.