Madrasah Tsanawiyah Negeri 21 Jakarta berawal dari kelas jauh Madrasah Tsanawiyah Negeri 6 Cawang. Saat itu Kepala Madrasahnya adalah Bapak H. Sa`adih. Kemudian setelah 3 tahun menjadi kelas jauh, pada tanggal 19 Maret tahun 1997, MTsN KJ 6 Cawang yang beralokasi di Pondok Kelapa ini diubah menjadi sekolah negeri yaitu MTsN 21 Jakarta. Perubahan status ini serentak dengan MTs kelas jauh lainnya dan juga berbarengan dengan Madrasah Tsanawiyah Negeri 24 Penggilingan. Selama berdirinya sejak tahun 1997, MTsN 21 Jakarta sudah mengalami beberapa kali pergantian Kepala Madrasah sebagai penerus untuk terus menjadikan MTsN 21 Jakarta sebagai sekolah yang unggul,
yaitu :
- Kepala Madrasah pertama, Bapak Mu’thi Affas (almarhum)
- Kepala Madrasah kedua, Bapak M. Haris (almarhum)
- Kepala Madrasah ketiga, Bapak H. M. Nuh (almarhum)
- Kepala Madrasah keempat, Ibu Dra. Hj. Mahmudah M.Pd.
- Kepala Madrasah kelima, Bapak Drs. Burhanudin, MM. (almarhum)
- Kepala Madrasah keenam, Ibu Dra. Hj. Mahmudah, M.Pd.
Saat ini, MTsN 21 Jakarta dipimpin oleh Ibu Dra. Mulyaningsih, M.Pd. dengan jumlah SDM sebanyak 57 orang yang terdiri dari 36 Tenaga Pendidik dan 21 Tenaga Kependidikan.