هاجر أبو عبيدة بن الجراح إلى أرض الحبشة ضمن من هاجروا إليها من المسلمين، إلا أنه لم يُطل البقاء بها وعاد إلى مكة مرة أخرى، ثم هاجر إلى المدينة بعد ذلك. وعندما توفي النبي صلى الله عليه وسلم كان أبو عبيدة من أقوى المرشحين لخلافته، فأتى إليه بعض المسلمين، ومنهم عمر بن الخطاب ليبايعوه على الخلافة، لكنه رفض وقال: أتأتوني وفيكم ثالث ثلاثة؟ يقصد أبا بكر الصديق. وانطلق معه إلى السقيفة، حيث اجتمع الأنصار ليختاروا من بينهم خليفة للمسلمين في المدينة. واحتدم النقاش بينهم وبين المهاجرين وكاد يدب الخلاف وتشتعل الفتنة، وهنا تدخل أبو عبيدة لتهدئة النفوس، بعد أن لزم الصمت لفترة طويلة قائلاً يا معشر الأنصار، كنتم أول من نصر وآزر فلا تكونوا أول من بدل وغير.جاءت هذه الكلمات كما يقول الباحث سمير حلبي في دراسته أبوعبيدة بن الجراح.. أمين أمة ووائد فتنة برداً وسلاماً على قلوب الأنصار، وكانت بمثابة النور الذي كشف للفريقين ما كادوا يقعون فيه من الفتنة والشقاق، فقال أحد زعماء الخزرج ( بشير بن سعد ) إنا والله وإن كنا أُولي فضيلة في جهاد المشركين، وسابقة في هذا الدين ما أردنا به إلا رضا ربنا وطاعة نبينا، والكدح لأنفسنا، فما ينبغي لنا أن نستطيل على الناس بذلك، ولا نبتغي من الدنيا عرضا، فإن الله ولي النعمة علينا بذلك. ألا إن محمداً (صلى الله عليه وسلم) من قريش، وقومه أحق به وأولى. وفي تلك اللحظة سارع أبو عبيدة بمبايعة أبي بكر فبايعه الجميع، وهكذا قدر الله لتلك الفتنة أن تموت في مهدها بفضل كياسة هذا الرجل (أبو عبيدة ) ورجاحة عقله وتواضعه ونفاذ بصيرته وقوة إيمانه وإخلاصه لله عز وجل.تزكية نبويةحظي أبو عبيدة بثقة خليفة المسلمين أبي بكر الصديق وهو الذي زكاه النبي (صلى الله عليه وسلم) ووصفه بأمين الأمة، فلم يجد الصديق من يقوم بأمر مال المسلمين خيراً منه، فولاه بيت مال المسلمين، فكان يتلقى أموال الزكاة وينظر في توزيعها على حاجات المسلمين. وكان ممن استشارهم الصديق لغزو الشام بعد وفاة النبي، صلى الله عليه وسلم، وحاجة الدولة الإسلامية الناشئة إلى تأمين حدودها من الأخطار المحدقة بها، وتأكيد قوتها أمام القوى الخارجية المتربصة بها، والحفاظ على هيبتها ومكانتها في نفوس أعدائها. ويجمع كثير من الباحثين على أنه عندما فرغ الصديق من حرب أهل الردة وتأمين الدولة من الداخل، جهز الأمراء والجنود لفتح الشام، ووقع اختياره على أبي عبيدة ويزيد بن أبي سفيان وعمرو بن العاص وشرحبيل بن حسنة، ليكونوا على قيادة الجيوش المتجهة إلى الشام، واستطاع هؤلاء القادة أن يحققوا الانتصارات تلو الأخرى، فكانت وقعة أجنادين بقرب الرملة التي جاءت بالنصر المؤزر، فطارت البشرى إلى الصديق وهو في مرض الموت، ثم كانت وقعة فِحْل ووقعة مرج الصفر تتويجاً لانتصارات المسلمين في الشام.ويشير الباحث أحمد تمام رحمه الله في دراسته معركة أجنادين.. الطريق إلى الشام إلى أن أبا عبيدة استطاع أن يتوغل بجنوده في أرض الشام، مارّاً بوادي القرى وبالحجر، فلما دخل مآب قاومه الروم وعرب مآب فتصدى لهم وأخضعهم، فلما بلغ الجابية جاءته الأنباء بتجهيز الروم بقيادة هرقل للقاء المسلمين بجيش كبير. وأرسل إلى الخليفة أبي بكر يستشيره في الأمر، فأمده بجيش كبير، وكتب إليه يقول: أما بعد، فإني قد وليت خالد بن الوليد قتال الروم في الشام فلا تخالفه، واسمع له، وأطع أمره، فإني وليته عليك وأنا أعلم أنك خير منه، ولكن ظننت أن له فطنة في الحرب ليست لك. أراد الله بنا وبك سبيل الرشاد.الفتح صلحاًبسماحة رحبة وتواضع عظيم سلم أبو عبيدة القيادة لخالد بن الوليد، فجعله خالد على المشاة، وانطلق جيش المسلمين ليحاصر دمشق، فنزل خالد على الباب الشرقي، ونزل أبو عبيدة على باب الجابية، وبقية القواد على الأبواب الأخرى. وكان الصديق قد بعث إلى خالد بأن يقدم إلى الشام ومعه نصف قواته التي كانت معه في العراق، حتى يلتقي بأبي عبيدة بن الجراح ومن معه، ويتسلم القيادة العامة للجيوش كلها، امتثل خالد بن الوليد لأوامر الخليفة، وخرج من الحيرة بالعراق في تسعة آلاف جندي، فسار شمالاً ثم عرج حتى اجتاز صحراء السماوة في واحدة من أجرأ المغامرات العسكرية في التاريخ، وأعظمها خطراً، حيث قطع أكثر من ألف كيلومتر في ثمانية عشر يوماً في صحراء جرداء حتى نزل بجيشه أمام الباب الشرقي لدمشق، ثم سار حتى أتى أبا عبيدة بالجابية، فالتقيا ومضيا بجيشهما إلى بصرى. وقد تجمعت الجيوش كلها تحت قيادة خالد بن الوليد، وحاصر بصرى حصاراً شديداً واضطرت إلى طلب الصلح ودفع الجزية، فأجابها خالد إلى الصلح وفتحها الله على المسلمين، فكانت أول مدينة فُتحت من الشام صلحا على أن يؤمن أهلها على دمائهم وأموالهم وأولادهم، نظير الجزية التي سيدفعونها.من هنا تتأكد الأبعاد الإنسانية والمعاني الجميلة التي ربطت بين الزعامات والقيادات الإسلامية والتي وفرت ركيزة أساسية لنجاح الفتوحات الإسلامية.