عندما جاء الخليفة عمر بن الخطاب رضي الله عنه من المدينة إلى القدس وتسلمها من أهلها في اتفاق مشهور بـ(العُهْدَة العُمَرِيَّة) قام بنفسه بتنظيف الصخرة المشرّفة وساحة الأقصى ثم بنى مسجدًا صغيرًا عند مسرى النبي صلى الله عليه وسلم ومعراجه. وقد وفد مع عمر العديد من الصحابة منهم: أبو عبيدة عامر بن الجراح وسعد بن أبي وقاص وخالد بن الوليد وأبو ذر الغفاري رضي الله عنهم أجمعين.