Maktab Mahmud telah ditubuhkan pada hari hari Jumaat 29 Rabiul Awal 1355 H bersamaan 19 Jun 1936. Perletakan batu asas telah disempurnakan oleh DYMM Tunku Mahmud Ibni Al Marhum Sultan Ahmad Tajuddin Mukarramul Shah, Regent and President State Council Kedah. Maktab Mahmud kemudiannya dibuka secara rasminya oleh DYMM Sultan Abdul Hamid Halim Shah, Sultan Negeri Kedah Darulaman pada ketika itu.
Tujuan utama Baginda adalah untuk menjadikan sebagai pusat penyebaran agama Islam, Bahasa Arab serta mengeluarkan tokoh-tokoh agama. Tambahan pula Baginda berpendapat Negeri Kedah memerlukan Kolej Islam setanding dengan sekolah-sekolah Inggeris pada masa itu, sistem pendidikannya menggunakan sistem pendidikan Mesir (Al-Azhar)