Hz. İbrahim zamanında Mezopotamya ovasında yaşayan kavimler taş ve ağaçtan yaptıkları heykellere tapıyorlardı. Hz. İbrahim bu yapılan putlara tapmayı reddetmiş ve Allaha inanmıştı. Kavmine de Allah’a inanmalarını ve putlara tapmamalarını sürekli olarak anlatıyordu. Başta babası olmak üzere kavmi Hz. İbrahim’e inanmayıp inkâr etmeye devam ettiler.
Kur’an-ı Kerim de bu durum şöyle açıklanır:
“Hani İbrahim, babası Azer’e şöyle demişti: Sen putları(kendine) ilahlar mı ediniyorsun? Doğrusu ben seni ve kavmini apaçık bir sapıklık içinde görüyorum.(enam suresi,74)”
Hz. İbrahim bir gün kavminin taptığı putları kırdı ve bunların bir işe yaramadığını göstermek istedi. Buna kızan babil halkı Hz. İbrahim’i yakalayıp nemrud’a teslim ettiler. Hz. İbrahim Nemrud’un elinden ve zulmünden Allah’ın verdiği mucize ile kurtuldu. Sonra ailesini yanına alarak Mekke ve civarına göç etti. Burada Allah’tan gelen vahiy üzerine yerleşti. Burada bir ev inşa etti. İşte bu ev, bugün Müslümanların kıblesi olan ve yeryüzünün ilk mabedi olan kutsal Kâbe’dir.
Hz. İbrahim ve oğlu Hz. İsmail’in Kâbe’yi inşa etmeleri bakara suresinde şöyle açıklanır.
“İbrahim, İsmail ile birlikte Beytullah’ın (Kâbe’nin) temellerini yükseltiyor.”(bakara suresi,127)
Ayeti kerimede İbrahim(a.s)ve oğlu İsmail(a.s) tarafından Kâbe’nin temellerinin yükseltilmesinin belirtilmesi, Kâbe’nin ilk olarak Hz. İbrahim tarafından inşa edilmediğini göstermektedir. Bu ayet ışığında, İslam’da temel görüş Kâbe’nin ilk olarak Hz. âdem tarafından yapıldığı, ancak geriye sadece temellerinin kaldığı, sonra Hz. Şit peygamber tarafından yeniden inşa edildiği ve Nuh tufanı esnasında kumlara gömüldüğü ve sonra Hz. İbrahim’in Allah’ın emri ile Kabe’nin olduğu yere gittiği ve Kabe’nin temellerini bularak bu temeller üzerine bugün, mevcut olan Kabe’yi inşa ettiği kabul edilmektedir.
Kâbe, Hz. İbrahim sonrasında yıkılmış ve harap olmuştur. Önce Curhum kabilesi, sonra ise Amelikler kabilesi tarafından yeniden inşa edilmiştir. Kâbe yönetimi, hicret’ten önce peygamberimizin atalarından Kusay B. Kilab’ın eline geçince yeniden sağlam bir şekilde inşa edilmiştir.
Hacer-ül Esved-i bugünkü durduğu yere peygamberimiz yerleştirmiştir. Kâbe, emeviler dönemine kadar bu şekilde kalmıştır. emeviler döneminde savaş çıkmış ve Kâbe’nin bir bölümü yıkılmıştır. Bunun üzerine ibn-i zübeyr Kâbe’yi tamamen yıkmış ve yeniden inşa etmiştir. Hacer-ül esved Kâbe içine alınmış hicr-i İsmail Kâbe’ye dâhil edilmiş ve karşı duvarda bir kapı daha açılarak Kâbe çift kapılı hale gelmiştir.
Miladi 691 yılında Emevi halifesi Abdulmelik b. Mervan, Kâbe’nin eski haline dönmesini sağlamıştır. Kabeyi Kureyş’in attığı temeller üzerine yeniden inşa ettirmiş, hacer-ül evsedi eski yerine koydurmuş, batıya bakan kapıyı kapattırmış, Kâbe tekrar tek kapılı olmuş, hicr-i İsmail dışarıda bırakılmış ve çatıya da bir yağmur oluğu yaptırmıştır.
Osmanlı padişahları döneminde de Kâbe için her türlü yardım ve onarım, inşa konularında her türlü destekler sağlanmıştır.
Suudi Hükümeti çeşitli zamanlarda Kâbe ve çevresinde yenileme ve büyütme çalışmaları yapmıştır. Kâbe’nin çevresindeki Hz. İbrahim makamı haricinde bütün yapılar daha kolay tavaf yapılabilmesi için kaldırılmıştır.