Müslümanların ilk kıblesidir ve kutsal kabul edilen mekânlardan bir tanesidir.
Kuran’ı Kerim’de şu şekilde geçer. “Kulunu (Muhammed’i) bir gece Mescid-i Haram’dan (Mekke’den), kendisine bir kısım ayetlerimizi göstermek için, çevresini mübarek kıldığımız Mescid-i Aksa’ya (Kudüs’e) götüren Allah’ın şanı ne yücedir. Doğrusu O, işitir ve görür.” Peygamberimiz Hz. Muhammed ise şöyle demiştir; “Yolculuk ancak şu üç mescit’ten birine olur; Benim şu mescitlerime (Mescid-i Nebevi), Mescid-i Haram’a ve Mescid-i Aksa’ya.” Bu hadis çerçevesinde Mescid-i Aksa, Mescid-i Nebevi ve Kâbe ile birlikte üç harem bölgesinden biri olarak kabul edildiği için Harem-i Şerif adını alır.
Mescid-i Aksa’yı Yahudiler kutsal kabul eder ve bu bölgeye Süleyman’ın inşa ettiği tapınağa nispetle Tapınak adını verirler. Bu bölgeyi, Tapınak bölgesi olarak gördüklerinden dolayı, aynı bölgede yeniden Süleyman tapınağı inşa etmek için gayret ederler.
Mescidin ilk olarak ne zaman inşa edildiği tam olarak bilinmemektedir. Peygamberimiz Hz. Muhammed’in hadislerinde bu mescidin, Kâbe inşa edildikten 40 yıl sonra inşa edildiği ifade edilir. Ebu zerr el-Gifari, şöyle nakleder: “ Ya Resulallah! Yeryüzünde ilk inşa edilen mescit hangisidir? Diye sordum. Dedi ki; Mescid-i Haram. “sonra hangisidir? Diye sorunca, “Mescid-i Aksa” cevabını verdi. Dedim ki; aralarında ne kadar var? Dedi ki; Kırk sene. Tarihçiler, ilk defa inşa edenin kim olduğu konusunda ihtilafa düşmüşlerdir. Bazıları melekler olduğunu söylerken, bazıları ise, Âdem, oğulları Şit, Nuh ve İbrahim gibi isimleri işaret etmişlerdir.
Osmanlılar, Kudüs’e 1516 yılından 1918 yılına kadar hâkim olmuşlardır. Kudüs’ün var olan önemi, Osmanlı idaresinde daha da artmış ve ilerleyen yıllarda Kudüs, İstanbul’a bağlı bir hale getirilerek Kudüs-i Şerif adını almıştır. Osmanlılar Mescid-i Aksa’nın durumunda büyük değişiklik yapmamış, ama Harem-i Şerif’in tamamında önemli ilaveler yapmışlardır.
1516 yılında Memlukları yenilgiye uğratan Yavuz Sultan Selim, Şam ve Kudüs’ü ele geçirmiştir. Kanuni Sultan Süleyman Kudüs’te gerçekleştirdiği inşa faaliyetleri ile Mescid-i Aksa’ya önemli ilaveler yapılmasına vesile olmuştur. Sultan Süleyman’ın gerçekleştirdiği en etkili inşa faaliyeti, şehir surlarını yenilemesi olmuştur.