وجه عمر بن الخطاب أبا عبيدة بن الجراح (رضي الله عنه) لفتح بيت المقدس وكان معسكراً في الجابية، ولما وصله رسول عمر قام أبو عبيدة بتوجيه خالد بن الوليد في خمسة آلاف فارس نحو بيت المقدس، ثم أتبعه بخمسة آلاف فارس آخرين بقيادة يزيد بن أبي سفيان، ثم بخمسة آلاف بقيادة شرحبيل بن حسنة، واجتمعت الجيوش كلها ولحق بها أبو عبيدة بن الجراح(رضي الله عنه) وضربوا الحصار حول المدينة المقدسة في أيام برد شديد، حتى استيأس أهل المقدس بعد مرور أربعة أشهر، فطلبوا تسليم المدينة ليضمنوا العهد والأمان منه.
فأجابهم أبو عبيدة وأرسل طالبا إلى الخليفة عمر بن الخطاب (رضي الله عنه) أن يحضر ليتسلم المدينة، وجاء وفد أبي عبيدة إلى المدينة المنورة وبصحبتهم وفد من النصارى، فسألوا عن أمير المؤمنين ليبلغوه طلب رؤسائهم، فاشتد عجبهم عندما رأوا قائد دولة المسلمين مفترشاً الأرض ينام تحت ظل شجرة يحتمي بها من الحر.
وأجابهم عمر بن الخطاب، وخرج قاصداً بيت المقدس.. ووصلها في شهر رجب في السنة السادسة عشر ة من الهجرة، في شهر الإسراء والمعراج، ليحرر مسرى رسول الله (صلى الله عليه وسلم) من الشرك الصليبي، ودخل عمر بن الخطاب المدينة عن طريق جبل (المكبر) الذي سمي بهذا الاسم لأن عمر بن الخطاب لما أشرف على المدينة المقدسة من فوق الجبل كبر وكبر معه المسلمون..
وصل عمر بن الخطاب إلى القدس ممتطياً بعيراً أحمر، كان يتبادل مع غلامه الركوب عليه، فعندما بلغ الخليفة سور المدينة كان دور الركوب للغلام، فنزل عمر وركب الغلام وعمر بن الخطاب يمسك بلجام البعير،
فلما رآه البطريرك أكبره، وبكى بطريك النصارى وقال: إن دولتكم باقية على الدهر، فدولة الظلم ساعة، ودولة العدل إلى قيام الساعة. ثم طلب عمر بن الخطاب من البطريك أن يدله على مكان (مسجد داود).. فمضى بهم إلى مكان مسجد بيت المقدس حتى وصلوا إليه فقال (رضي الله عنه) الله أكبر، هذا والذي نفسي بيده مسجد داود (عليه السلام) الذي أخبرنا رسول الله (صلى الله عليه وسلم) أنه أسري به إليه فمضى عمر نحو مكان المحراب فصلى فيه وقرأ سورة ص، وسجد..