لما قتل عثمان، بويع علي بن أبي طالب للخلافة بالمدينة المنورة في اليوم التالي لقتل عثمان (يوم الجمعة 25 ذي الحجة، 35 هـ [114]) فبايعه جميع من كان في المدينة من الصحابة والتابعين والثوار. يروى إنه كان كارها للخلافة في البداية واقترح أن يكون وزيرا أو مستشارا إلا أن بعض الصحابة حاولوا إقناعه فضلا عن تأييد الثوار له [115][116]، ويروي ابن خلدون والطبري أنه قبل خشية حدوث شقاق بين المسلمين [114][117]. يروى أن أول من بايع كان طلحة والزبير وفي تاريخ الطبري أول من بايع مالك الأشتر النخعي، وتقول بعض المصادر أن أقارب عثمان والأمويين لم يبايعوا علي وتوجهوا إلى الشام، كما تقول أن بعض الصحابة مثل سعد بن أبي وقاص وعبد الله بن عمر وغيرهم لم يبايعوا بالولاء ولكن تعهدوا بعدم الانقلاب ضده [118][119][120]. وحول صلاته على عثمان يختلف المؤرخون أيضا فتذكر بعض المصادر التاريخية أن جماعة من الصحابة استأذنوا عليا لدفنه ولكن من المؤرخين من ذكره ضمن من شاركوا في تشييعه والصلاة عليه ومراسم دفنه ولكن البعض الآخر لم يذكره ضمنهم بل حتى أن بعض الروايات لا تذكر استئذان علي في دفنه.[121]
وهكذا استلم علي الحكم خلفا لعثمان، في وقت كانت الدولة الإسلامية حين إذ تمتد من المرتفعات الإيرانية شرقا إلى مصر غربا بالإضافة لشبه الجزيرة العربية بالكامل وبعض المناطق غير المستقرة على الأطراف. ومنذ اللحظة الأولى في خلافته أعلن علي أنه سيطبق مبادئ الإسلام وترسيخ العدل والمساواة بين الجميع بلا تفضيل أو تمييز، كما صرح بأنه سيسترجع كل الأموال التي اقتطعها عثمان لأقاربه والمقربين له من بيت المال [120]. في سنة 36 هـ أمر علي بعزل الولاة الذين عينهم عثمان وتعيين ولاة آخرين يثق بهم، مخالفا بذلك نصيحة بعض الصحابة مثل ابن عباس والمغيرة بن شعبة الذين نصحوه بالتروي في اتخاذ القرار [117]. أرسل علي عثمان بن حنيف الأنصاري بدلاً عن عبد الله بن عامر إلى البصرة بحسب الطبري وابن الأثير، وفي البداية والنهاية أنه أرسل سمرة بن جندب، وعلى الكوفة أرسل عمارة بن شهاب بدلاً عن أبي موسى الأشعري، وعلى اليمن عبيد الله بن عباس بدلاً عن يعلى بن منبه، وعلى مصر قيس بن سعد بن عبادة وبدلاً عن عبد الله بن سعد، وعلى الشام سهل بن حنيف بدلاً من معاوية بن أبي سفيان [120][122].
بعد استلامه الحكم ببضعة أشهر، وقعت معركة الجمل (36 هـ) التي كان خصومه فيها طلحة والزبير ومعهما عائشة بنت أبي بكر زوجة محمد الذين طالبوا بالقصاص من قتلة عثمان، رغم تشكيك البعض في مصداقية هذا الادعاء حيث تقول روايات أنهما حرضا على قتله، لذلك يعتقد البعض أن أغراضهما من وراء مقاتلة علي هو تحقيق أطماع سياسية، خاصة مع ادعائهما المبايعة مكرهين وهروبهما إلى مكة، بالإضافة إلى تصريح أسامة بن زيد بأنهما بايعا كارهين، ويقال كذلك لأن عليا رفض توليتهما البصرة والكوفة، حيث طلبا منه الولاية لكنه أبقاهما معه كمستشارين. بعدها طلبوا السماح لهم بالذهاب إلى مكة لآداء العمرة فسمح لهما وحين ذهبا التقيا عائشة وقرروا المسير إلى البصرة رافعين شعار الانتقام لعثمان [117][123]، فسارو من مكة إلى البصرة بعشرة آلاف مقاتل وتحرك إليهم علي ولقيهم على مشارف البصرة، وفي البداية والنهاية (7/260)
يذكر ابن كثير أنهم انطلقوا إلى البصرة وكان علي بالمدينة عازما على الذهاب إلى الشام لقتال معاوية، فغير وجهته إلى البصرة واستخلف على المدينة تمام بن عباس وعلى مكة قثم بن عباس، وحين وصل أرسل عمار بن ياسر إلى أهل الكوفة يستنفرونهم للقتال فانضم منهم الكثير إلى جيش علي وفقا للطبري. تختلف الروايات حول وقائع المعركة لكنها انتهت بمقتل طلحة والزبير وانتصار علي، وعودة عائشة إلى المدينة. وحول سبب عدم قيام علي بالاقتصاص من قتله عثمان فالبعض يرى أنه كان صعب لاختلاط القتلة بجيش ومؤيدي علي الذي لم يكن لديه ما يكفي من القوة والسيطرة الكافية لتطبيق الحد فانتظر حتى تهدأ الفتنة وهذا ما قاله علي لطلحة والزبير في بعض الروايات. قام علي بعد معركة الجمل بنقل عاصمة الخلافة من المدينة إلى الكوفة نظرا لموقعها الاستراتيجي الذي يتوسط أراضي الدولة الإسلامية آن ذاك، ولكثرة مؤيديه هناك [124].
كان معاوية بن أبي سفيان -والي الشام في عهد عثمان- قد أعلن رفضه تنفيذ قرار العزل [51]، كما امتنع عن تقديم البيعة لعلي، وطالب بالثأر لابن عمه عثمان [120]، ويشكك أيضا الكثيرين في أهداف معاوية المعلنة حيث يرون معارضته كانت لأطماع سياسية [125]. حين انتهى علي من معركة الجمل توجه إلى الكوفة فدخلها في الثاني عشر من رجب 36هـ ثم أرسل جرير بن عبد الله إلى معاوية يدعوه للمبايعة والطاعة لكن معاوية رفض المبايعة إلا بعد الاقتصاص من قتلة عثمان [126]. عاد الرسول إلى علي برفض معاوية، فتوجه علي بجيشه إلى الشام وعسكر الجيشان حين التقيا بموقع يسمى صفين، ثم بدأت مفاوضات بين الطرفين عبر الرسائل، واستمرت لمدة مائة يوم لكنها لم تأتي بنتيجة، فبدأت مناوشات بين الجيشين أسفرت عن قتال استمر لمدة أسبوع فيما يعرف بمعركة صفين (36 - 37هـ / 657م). بدا جيش علي على مشارف الانتصار وجيش معاوية على وشك الهزيمة، فاقترح عمرو بن العاص -وكان في جيش معاوية- عمل حيلة وهي أن يقوم الجنود برفع المصاحف على أسنة الرماح، مطالبين بالتحكيم وفقا للشريعة الإسلامية. يقول ابن خلدون أن عليا حذر المسلمين من الخديعة إلا أن جماعة ممن صاروا فيما بعد من الخوارج أصروا على القبول بالتحكيم وهددوه بالقتل ووافق بعد إلحاح منهم، وعندما أرادوا حكما اختاروا أبي موسى الأشعري لكن علي رفضه لعدم ثقته به وتخليه عنه فيما سبق ورشح الأشتر النخعي إلا أنهم رفضوه واستقر الأمر على الأشعري، رفض جنود علي من الخوارج التحكيم معتبرين أن معاوية كافر بخروجه عن طاعة اخليفة الشرعي وبهذا يجب قتله، واعتبروا التحكيم خروج عن حكم الله والاحتكام بحكم البشر -رغم أن تأكيد بعض المؤرخين على أنهم من رشحوه- فذهبوا لعلي يستتيبوه ويحثوه على قتال معاوية ونقض اتفاق التحكيم لكنه رفض، مما أدى إلى انسحاب الخوارج من جيش علي. وأورد ابن كثير في البداية والنهاية (7/301)
رواية تقول أن علي وافق على التحكيم وعارضه بعض الناس. في هذة الأثناء اختار معاوية عمرو بن العاص حكما من طرفه، واجتمع الحكمان لإيجاد حل للنزاع، فدار بينهما جدال طويل، واتفقا في النهاية على خلع معاوية وعلي وترك الأمر للمسلمين لاختيار الخليفة. خرج الحكمان للناس لإعلان النتيجة التي توصلا إليها، فأعلن أبي موسى الأشعري خلع علي ومعاوية، لكن عمرو بن العاص أعلن خلع علي وتثبيت معاوية.[117][127] بعد حادثة التحكيم عاد القتال من جديد واستطاع معاوية أن يحقق بعض الانتصارات وضم عمرو بن العاص مصر بالإضافة إلى الشام وقتل واليها محمد بن أبي بكر.
وأخيرا قاتل علي الخوارج وهزمهم في معركة النهروان (39هـ / 659م)،، حيث انسحبوا من جيشه ثم قاموا يقطعون الطرق ويسألون الناس حول ارائهم في الخلفاء الأربعة فيقتلون من يخالفهم في الرأي بشكل بشع.[128][129]
ورغم أن علي لم يقم بأي فتوحات طوال فترة حكمه إلا أنها اتصفت بالكثير من المنجزات المدنية والحضارية منها تنظيم الشرطة وإنشاء مراكز متخصصة لخدمة العامة كدار المظالم ومربد الضوال وبناء السجون [130][131]، وكان يدير حكمه انطلاقا من دار الإمارة، كما ازدهرت الكوفة في عهده وبنيت بها مدارس الفقه والنحو وقد أمر الإمام علي بن أبي طالب أبا الأسود الدؤلي بتشكيل حروف القرآن لأول مرة [132][133]، ويعتقد بعض الباحثين أنه أول من سك الدرهم الإسلامي الخالص [134] مخالفين بهذا المصادر التاريخية الأخرى التي تقول أن عبد الملك بن مروان هو أول من ضرب الدراهم الإسلامية الخالصة.[135] في عهده أيضا نشط عبد الله بن سبأ وأتباعه الذين عرفوا بالسبئية والتي يعتقد البعض أنهم أصل حركة التشيع، والبعض الآخر يقول أنهم أول من قال بتأليه أئمة الشيعة، وآخرون يشككون في وجود السبئية من الأساس. يروى أن علي بن أبي جمعهم وأمر بحفر الأخاديد وأضرم فيها النيران وأعدمهم بالحرق ولم يبقى منهم إلا القليل.[136]
يعتبر العديد من الكتاب الباحثين أن علي لم يكن رجل سياسي ناجح أو لم يتمتع بالمرونة السياسية المناسبة [51]. قال عنه ويلفرد مادلونغ أنه كان متمسك بتعاليم دينه بشدة وغير مستعد للتنازل عن مبادئه من أجل المنفعة السياسية [137].
وهكذا استلم علي الحكم خلفا لعثمان، في وقت كانت الدولة الإسلامية حين إذ تمتد من المرتفعات الإيرانية شرقا إلى مصر غربا بالإضافة لشبه الجزيرة العربية بالكامل وبعض المناطق غير المستقرة على الأطراف. ومنذ اللحظة الأولى في خلافته أعلن علي أنه سيطبق مبادئ الإسلام وترسيخ العدل والمساواة بين الجميع بلا تفضيل أو تمييز، كما صرح بأنه سيسترجع كل الأموال التي اقتطعها عثمان لأقاربه والمقربين له من بيت المال [120]. في سنة 36 هـ أمر علي بعزل الولاة الذين عينهم عثمان وتعيين ولاة آخرين يثق بهم، مخالفا بذلك نصيحة بعض الصحابة مثل ابن عباس والمغيرة بن شعبة الذين نصحوه بالتروي في اتخاذ القرار [117]. أرسل علي عثمان بن حنيف الأنصاري بدلاً عن عبد الله بن عامر إلى البصرة بحسب الطبري وابن الأثير، وفي البداية والنهاية أنه أرسل سمرة بن جندب، وعلى الكوفة أرسل عمارة بن شهاب بدلاً عن أبي موسى الأشعري، وعلى اليمن عبيد الله بن عباس بدلاً عن يعلى بن منبه، وعلى مصر قيس بن سعد بن عبادة وبدلاً عن عبد الله بن سعد، وعلى الشام سهل بن حنيف بدلاً من معاوية بن أبي سفيان [120][122].
بعد استلامه الحكم ببضعة أشهر، وقعت معركة الجمل (36 هـ) التي كان خصومه فيها طلحة والزبير ومعهما عائشة بنت أبي بكر زوجة محمد الذين طالبوا بالقصاص من قتلة عثمان، رغم تشكيك البعض في مصداقية هذا الادعاء حيث تقول روايات أنهما حرضا على قتله، لذلك يعتقد البعض أن أغراضهما من وراء مقاتلة علي هو تحقيق أطماع سياسية، خاصة مع ادعائهما المبايعة مكرهين وهروبهما إلى مكة، بالإضافة إلى تصريح أسامة بن زيد بأنهما بايعا كارهين، ويقال كذلك لأن عليا رفض توليتهما البصرة والكوفة، حيث طلبا منه الولاية لكنه أبقاهما معه كمستشارين. بعدها طلبوا السماح لهم بالذهاب إلى مكة لآداء العمرة فسمح لهما وحين ذهبا التقيا عائشة وقرروا المسير إلى البصرة رافعين شعار الانتقام لعثمان [117][123]، فسارو من مكة إلى البصرة بعشرة آلاف مقاتل وتحرك إليهم علي ولقيهم على مشارف البصرة، وفي البداية والنهاية (7/260)
يذكر ابن كثير أنهم انطلقوا إلى البصرة وكان علي بالمدينة عازما على الذهاب إلى الشام لقتال معاوية، فغير وجهته إلى البصرة واستخلف على المدينة تمام بن عباس وعلى مكة قثم بن عباس، وحين وصل أرسل عمار بن ياسر إلى أهل الكوفة يستنفرونهم للقتال فانضم منهم الكثير إلى جيش علي وفقا للطبري. تختلف الروايات حول وقائع المعركة لكنها انتهت بمقتل طلحة والزبير وانتصار علي، وعودة عائشة إلى المدينة. وحول سبب عدم قيام علي بالاقتصاص من قتله عثمان فالبعض يرى أنه كان صعب لاختلاط القتلة بجيش ومؤيدي علي الذي لم يكن لديه ما يكفي من القوة والسيطرة الكافية لتطبيق الحد فانتظر حتى تهدأ الفتنة وهذا ما قاله علي لطلحة والزبير في بعض الروايات. قام علي بعد معركة الجمل بنقل عاصمة الخلافة من المدينة إلى الكوفة نظرا لموقعها الاستراتيجي الذي يتوسط أراضي الدولة الإسلامية آن ذاك، ولكثرة مؤيديه هناك [124].
كان معاوية بن أبي سفيان -والي الشام في عهد عثمان- قد أعلن رفضه تنفيذ قرار العزل [51]، كما امتنع عن تقديم البيعة لعلي، وطالب بالثأر لابن عمه عثمان [120]، ويشكك أيضا الكثيرين في أهداف معاوية المعلنة حيث يرون معارضته كانت لأطماع سياسية [125]. حين انتهى علي من معركة الجمل توجه إلى الكوفة فدخلها في الثاني عشر من رجب 36هـ ثم أرسل جرير بن عبد الله إلى معاوية يدعوه للمبايعة والطاعة لكن معاوية رفض المبايعة إلا بعد الاقتصاص من قتلة عثمان [126]. عاد الرسول إلى علي برفض معاوية، فتوجه علي بجيشه إلى الشام وعسكر الجيشان حين التقيا بموقع يسمى صفين، ثم بدأت مفاوضات بين الطرفين عبر الرسائل، واستمرت لمدة مائة يوم لكنها لم تأتي بنتيجة، فبدأت مناوشات بين الجيشين أسفرت عن قتال استمر لمدة أسبوع فيما يعرف بمعركة صفين (36 - 37هـ / 657م). بدا جيش علي على مشارف الانتصار وجيش معاوية على وشك الهزيمة، فاقترح عمرو بن العاص -وكان في جيش معاوية- عمل حيلة وهي أن يقوم الجنود برفع المصاحف على أسنة الرماح، مطالبين بالتحكيم وفقا للشريعة الإسلامية. يقول ابن خلدون أن عليا حذر المسلمين من الخديعة إلا أن جماعة ممن صاروا فيما بعد من الخوارج أصروا على القبول بالتحكيم وهددوه بالقتل ووافق بعد إلحاح منهم، وعندما أرادوا حكما اختاروا أبي موسى الأشعري لكن علي رفضه لعدم ثقته به وتخليه عنه فيما سبق ورشح الأشتر النخعي إلا أنهم رفضوه واستقر الأمر على الأشعري، رفض جنود علي من الخوارج التحكيم معتبرين أن معاوية كافر بخروجه عن طاعة اخليفة الشرعي وبهذا يجب قتله، واعتبروا التحكيم خروج عن حكم الله والاحتكام بحكم البشر -رغم أن تأكيد بعض المؤرخين على أنهم من رشحوه- فذهبوا لعلي يستتيبوه ويحثوه على قتال معاوية ونقض اتفاق التحكيم لكنه رفض، مما أدى إلى انسحاب الخوارج من جيش علي. وأورد ابن كثير في البداية والنهاية (7/301)
رواية تقول أن علي وافق على التحكيم وعارضه بعض الناس. في هذة الأثناء اختار معاوية عمرو بن العاص حكما من طرفه، واجتمع الحكمان لإيجاد حل للنزاع، فدار بينهما جدال طويل، واتفقا في النهاية على خلع معاوية وعلي وترك الأمر للمسلمين لاختيار الخليفة. خرج الحكمان للناس لإعلان النتيجة التي توصلا إليها، فأعلن أبي موسى الأشعري خلع علي ومعاوية، لكن عمرو بن العاص أعلن خلع علي وتثبيت معاوية.[117][127] بعد حادثة التحكيم عاد القتال من جديد واستطاع معاوية أن يحقق بعض الانتصارات وضم عمرو بن العاص مصر بالإضافة إلى الشام وقتل واليها محمد بن أبي بكر.
وأخيرا قاتل علي الخوارج وهزمهم في معركة النهروان (39هـ / 659م)،، حيث انسحبوا من جيشه ثم قاموا يقطعون الطرق ويسألون الناس حول ارائهم في الخلفاء الأربعة فيقتلون من يخالفهم في الرأي بشكل بشع.[128][129]
ورغم أن علي لم يقم بأي فتوحات طوال فترة حكمه إلا أنها اتصفت بالكثير من المنجزات المدنية والحضارية منها تنظيم الشرطة وإنشاء مراكز متخصصة لخدمة العامة كدار المظالم ومربد الضوال وبناء السجون [130][131]، وكان يدير حكمه انطلاقا من دار الإمارة، كما ازدهرت الكوفة في عهده وبنيت بها مدارس الفقه والنحو وقد أمر الإمام علي بن أبي طالب أبا الأسود الدؤلي بتشكيل حروف القرآن لأول مرة [132][133]، ويعتقد بعض الباحثين أنه أول من سك الدرهم الإسلامي الخالص [134] مخالفين بهذا المصادر التاريخية الأخرى التي تقول أن عبد الملك بن مروان هو أول من ضرب الدراهم الإسلامية الخالصة.[135] في عهده أيضا نشط عبد الله بن سبأ وأتباعه الذين عرفوا بالسبئية والتي يعتقد البعض أنهم أصل حركة التشيع، والبعض الآخر يقول أنهم أول من قال بتأليه أئمة الشيعة، وآخرون يشككون في وجود السبئية من الأساس. يروى أن علي بن أبي جمعهم وأمر بحفر الأخاديد وأضرم فيها النيران وأعدمهم بالحرق ولم يبقى منهم إلا القليل.[136]
يعتبر العديد من الكتاب الباحثين أن علي لم يكن رجل سياسي ناجح أو لم يتمتع بالمرونة السياسية المناسبة [51]. قال عنه ويلفرد مادلونغ أنه كان متمسك بتعاليم دينه بشدة وغير مستعد للتنازل عن مبادئه من أجل المنفعة السياسية [137].