永和十年（354年），桓温第一次北伐，兵分两路，他亲率步骑4万余出湖北，命令梁州方面出秦岭。桓温在蓝田、白鹿原连续击破氐族苻健的军队，推进到长安郊区的霸上。苻健拒守长安城。第一次北伐可谓旗开得胜，政治影响巨大。关中百姓“持牛酒迎温于路者十八九”，一些老年人感极而泣：“没想到今生还能再见到官军！”
桓温的成功也反衬出之前东晋历次北伐的战略不当。首先是缺乏协同作战，之前的北伐不是从东边渡淮河向河南、山东，就是在西边出湖北，从来没有东西联合作战（因为东西的扬州、荆州属于不同的世族势力范围）。其次，既然没有协同作战，自然也就不能整合军队和物资了。如果褚裒、殷浩等人的军队能够和桓温的荆州军队联合起来，相信成效会更大。说到整合资源，桓温的北伐依靠的仅仅是荆州的物资，经过两场恶战，推进到长安城郊后，北伐军的后勤供应出现了问题。桓温就在霸上停顿了下来，一边等待后方的军需运达，一边抢收关中地区的春麦作为军粮。关于桓温为什么没有乘胜追击，还有其他的解释。比较可信的说法还有桓温这时候已经有了谋逆自立的野心。他想借北伐来揽权立威，并非要真心收复失地；第二个说法是桓温看到前秦在关中的统治并不稳定，想在霸上坐等前秦内乱，然后乘虚而入。而最大的可能是，桓温驻足不前可能是以上各种因素综合作用的结果。
遗憾的是，前秦并没有内乱，北伐军在抢收春粮上也输给了秦军。秦军收走了粮草，对北伐军实行坚壁清野政策，桓温粮秣不继，被迫撤返襄阳。第一次北伐失败。
永和十二年（356年），桓温第二次北伐。北伐的目标是叛晋的姚襄势力。叛晋后，姚襄一度游离在前秦和前燕之间，盘踞在河南洛阳、许昌等地。桓温北上击败姚襄，收复了河南地区。其中西晋首都洛阳光复，具有重大政治意义。桓温大做政治文章，建议“还都洛阳”，并建议南迁的世族大家们返乡。他这么做是有私心的。洛阳在桓温的控制之下，让朝廷和达官显贵们都迁徙到洛阳来，不是重复“挟天子以令诸侯”的旧戏吗？建康的达官贵人们激烈反对桓温的建议。当然了，“还都”的建议也是一面不能驳倒的道德旗帜，达官显贵们就从其他方面入手。首先，他们质问桓，温能否守得住洛阳？如果等朝廷迁入洛阳，洛阳却失守了，不是要再来一次“永嘉之祸”吗？其次，他们说百姓南迁已经半个世纪了，早已在南方安家生根，强迫南迁于情于理都不合适。
就在东晋朝臣的相互猜忌和扯皮之际，前燕慕容恪、慕容垂领兵进攻河南。许昌、汝南、陈郡等地失守。洛阳守将陈佑以救许昌为名南逃，留沈劲的五百人守城。沈劲是王敦死党沈充之子。沈充背负叛逆的恶名，沈劲引为终身憾事，如今以区区五百人坚守洛阳非但不怨天尤人，反而觉得是以身殉国、挽回家族名声的良机。洛阳很快被前燕攻占，沈劲全军覆没，被俘遇害。慕容恪知道实情后，很后悔杀死了沈劲。至此，桓温的第二次北伐的成果全部丧失了。
其间，东晋经历了一次皇位变革。361年，晋穆帝司马聃病逝。堂兄司马丕被推举为新皇帝。司马丕是晋成帝的长子，原本早就有希望称帝了，结果因为庾氏专权的需要被闲置了。他苦等晋康帝、晋穆帝两个皇帝都死了，才坐上本属于他的龙椅。司马丕就是晋哀帝。桓温因为功勋卓著，被晋哀帝加封侍中、大司马、都督中外诸军、录尚书事、假黄钺。桓温移镇姑孰（今安徽当涂），让兄弟桓豁领荆州刺史，桓冲任江州刺史、监江州及荆、豫八郡诸军事。至此，桓温成了东晋最大的实力派。除了长江最下游的部分郡县外，中下游军政大权都落入桓氏之手。
晋哀帝司马丕继位后，醉心黄老之术，服药求长生，却吃错药中了毒，死于365年，年仅25岁。大臣们拥立其弟司马奕为新皇帝，史称晋废帝。
369年，手握大权的桓温为了树立更高的威望，率5万人北伐前燕。北伐开始很顺利，一路势如破竹。经过金城时，桓温见到自己担任琅琊太守时种的柳树已经长成老树，感叹道：“木犹如此，人何以堪！”人已老，桓温也年过半百了。他攀枝执条，泫然流涕。可当北伐军推进到枋头（今河南汲县境内）时，桓温又逡巡不前。可能是桓温面对强大的敌人，没有胜利的信心。当时前燕军队并不弱，并且前秦已经出兵增援前燕，两国联军对付桓温。而北伐军又遇到了老问题：后勤跟不上来。这个后勤的老问题，并不是因为东晋国力衰落，而是朝廷并没有收复失地的真心，加上其他世族大家不愿意桓温建立大功，一家独大，所以朝廷没有为桓温全力提供后勤保证。桓温在前线很快就没有粮食吃了，又得知前秦援兵将至，只好烧船弃甲，撤退回国。北伐军撤退途中，缺粮少水，只能凿井而饮，又不断遭到前燕的伏击，最后只有万余人逃回南方。
惨败后，桓温把责任推卸给负责后勤的袁真。袁真不满而在寿春造反。桓温进攻寿春，直到371年才攻克。当时袁真已死，拒守城池的袁瑾被杀。尽管找了替罪羊，桓温的威望仍然大减。桓温便想用废立皇帝的办法来立威。371年，桓温废司马奕为海西公，改立司马昱为帝。司马昱就是简文帝。他原本可以成为东晋的第二个皇帝，结果在晚年才成了东晋的第八个皇帝。他的雄心壮志早已消磨光了，在位就是个傀儡，一切朝政由大司马桓温独断。
长期手握大权，桓温也厌倦了“北伐—失利—再北伐”的老路，有了更大的“追求”。他抚枕而叹：“人生在世，既不能流芳百世，不足复遗臭万载耶？”桓温开始以王敦为榜样，他和王敦的处境惊人地相似。王敦曾经和皇位一步之遥，桓温的手也可以摸得着龙椅。</div>