İbrahim peygamber Kabe’nin inşası bittikten sonra oğlu İsmail (a.s) ile tavafa başlangıç yerini belirtmek için: “İsmail, bana bir taş getir de tavafın nerede başlayacağını işaret edeyim.” dedi. İsmail aleyhimsselam da bunun üzerine Cebel-i Kubeyş üzerinden bir taş alıp babasına vermişti. O da tavafın başlangıcını belirlemek için bugünkü Kabe’nin köşesine taşı koydu. Taş, yumurta şeklinde ve 18-19 cm. yarıçapındaydı. Konulduğu yer, yerden üç arşın 4 parmak yüksekliğinde bulunuyordu. Bu kadar yükseğe konulmasının sebebi herkes tarafından görülmesi içindir. Renginin başlarda beyaz olduğu bu taşın çokça selamlanıp öpüldüğü için kırmızımsı hale geldiği rivayet edilmektedir. Hacer-ül esved, melekler tarafından, peygamberler tarafından ve peygamber efendimiz tarafından öpüldüğü rivayet edilmiştir. Hacer-ül esved’i öpmek, Allah’ın saltanatının bir işaret olması dulasıyla bir hürmet, teslimiyet ve ikrar manası içermektedir. İşte bu yüzden, Hz. Ömer şöyle demiştir: “Vallahi seni öpüyorum. Senin taş olduğunu, zarar ve fayda veremeyeceğini de biliyorum. Eğer Resulullah’ın seni öptüğünü görmeseydim, seni öpmezdim.”
Kabe, Huzaalıların elinde bulunmasından sonra Hacer-i Esved rakipleri olan Cürhümlüler tarafından kaçırılıp sonradan tekrar Huzaalılar yeniden ele geçirip yerine koymuşlardır. Sonraki zamanlarda Abbasi Halifelerinden olan Muktedirbillah zamanında Mekke’yi zaptetmiş olan Karamite reisi Tahir tarafından koparılmış olan Küfe Mescidine konulmuştur. 20 yıl sonra, Halife Muti Billah tarafından 24 bin dinar karşılığından alınıp Mekke’ye getirilip bugünkü yerine konulması sağlanmıştır.
Hacer-i Esved zamanlar oluşan yangınlarda kırılmalara mağruz kalmıştır. 12 parça olarak birleştirilme işlemi uygulanmıştır. Küçük bir bölümü Kanuni zamanında bir hadım ağası tarafından İstanbul’a getirilmiş, Süleymaniye civarında bulunan Kanuni türbesine asılmıştır.
Rivayetlere göre, Hacer-i Esved kıyamet gününde Kabe’yi tavaf edenler şahitlik yapacaktır bu yüzden buradaki görevimizi iyi getirmek gerekir. Halk içerisinde hacdan gelen insanların avuçlarının iç kısımlarının öpülmek istenmesi hacca giderek tavaf edenlere Hacer-i Esved’in şahitlik ettiği düşünülerek, şahitliği bir de öperek ya da dokunarak hissetmek, temas kurmak istenmesidir. Hacının “elestü birabbiküm” bezminde yer alan ikrarı etmeleri burada yenilenmiş olduklarından memleketinde bulunarak henüz hacca gidemeyenleri onu tasdiklemeleri, avuclarının içlerini öpmeleri bu yüzdendir.