玄听说刘裕跑得这么快，心里隐隐感觉不安，但还心存侥幸，没想到几天后他的担心成为现实。刘裕在京口起兵了！
刘裕一路狂奔，回到京口，这时京口的何无忌已经联络了一大批北府兵旧将和其他反楚的中下级官吏，刘裕被推为起义首领。刘裕安排下三路人马，分别进攻青州刺史桓弘，徐、兖二州刺史桓修和豫州刺史刁逵。
京口这一路，刘裕和何无忌化装成钦差大臣带着一百多人来到桓修府中，等恒修出来迎接时，一刀将桓修劈死，因为京口士兵大多为北府旧部，是刘裕和何无忌的老部下，所以都投降了刘裕。司马刁弘率自己的军队来战，刘裕很快将刁弘击败，收降其部下，占了徐、兖二州。
广陵这一路，刘毅在桓弘手下做参军，刘道规为参军，孟昶为主簿，三个人一起邀请桓弘出去打猎。桓弘未加防备，一口答应。在打猎的那天早上。三个人带上打猎的刀枪剑戟直接走到桓弘的客厅，桓弘正在吃早饭，看见三个人拿着兵器还纳闷他们怎么这么着急。哪知道三个人一齐围上来用这些打猎的武器把桓弘给杀了，也收降了青州的士兵。刘道规据守广陵，刘毅和孟昶带兵去京口和刘裕会合。刘裕让孟昶守京口，然后挑出一万多精兵，攻向京师。
历阳这一路，诸葛长民却被刁逵先发制人，反被擒获。刁逵把诸葛长民等人装入囚车中送往京城。
桓玄听说刘裕等人造反，不由大惊道：“刘裕是当世英雄，刘毅为人杰，何无忌的军事才能不亚于他的舅舅刘牢之。这三个又一起联合起来反对我，我就要败啦！”这时桓谦大哭闯入，一定要请桓玄出兵击杀刘裕，为二弟桓弘报仇。
桓玄道：“刘裕虽然兵少，但这个人打仗很厉害，手中又握有善战的北府兵，如果出兵对决，一旦战败，大势去矣！不如把所有的军队都收缩到覆舟山一带防守。刘裕行军数百里不见一兵一卒，忽在覆舟山见我数倍于他的大军，军心必惧。我们坚守不出，刘裕的军队久攻不下，军心会更加动摇。到时，刘裕自然会退兵。”但桓谦一定要桓玄出击，为二弟报仇。桓玄被他缠得没有办法，就派顿丘太守吴甫之、右卫将军皇甫敷先后北上去攻刘裕。
吴甫之率三万兵在江乘与刘裕的部队相遇。吴甫之先击败前锋何无忌，但刘裕的中军随后杀到，又大败吴甫之的部队，并杀死吴甫之。刘裕带军队追杀吴甫之的残兵，追到罗落桥的时候，皇甫敷率领五万大军赶到。两军混战一番后，刘裕因为兵少，被楚军分割包围，刘裕手下将军檀凭之被射死。在这危急时刻，刘裕带一小队人马，奋力杀向皇甫敷，把皇甫敷杀死。皇甫敷死后，形势顿时逆转，失去主将的楚兵纷纷撤退，刘裕趁势掩杀，沿途又征招降兵，很快壮大成为一支三万人的队伍。
桓玄急忙任命桓谦为征讨都督，令游击将军何澹之率两万人守东陵，又命卞范之率一万兵防守覆舟山，作为东陵后援。刘裕进兵至东陵，很快击溃桓谦的军队，接着又攻下覆舟山。桓谦、何澹之、卞范之逃回京城，对桓玄道：“刘裕的兵力很强，漫山遍野，不知有多少。你快逃吧！”桓玄也被吓坏了，带着三个人和数千亲信及士兵挟持着晋安帝和司马德文仓皇逃出京城。前相国参军胡籓拉住桓玄的马笼头道：“现在你还有八百羽林军射手，身边也有数千人，为什么不去和刘裕决一死战呢？今天你离开京城，就再没有回到京城的那一天了。”
桓玄无以作答，只以鞭指了指天，表示这是天意，便率众人逃到石头城，又从石头城乘船西逃。一路上桓玄心情难受，刚当上皇帝没几天就被人家赶下台，这皇帝做的还不如安帝那个白痴。他难受得连一口饭都咽不下去，还是他的儿子桓昇替他抚胸才得以咽下。等到了浔阳，江州刺史郭昶之迎接桓玄，桓玄遂命何澹之和郭昶之守在湓口，自己与桓谦、卞范之等人，胁持晋安帝和司马德文退回江陵。
刘裕的军队到了建康，王谧率京中百官出城来迎。刘裕入城后派刘毅率何无忌、刘道规等率一万水军继续追剿桓玄，又把城中没来得逃走的桓氏宗族余党全部杀死。有人向刘裕告发说：“王谧帮助桓玄篡位。当年桓玄篡晋时，王谧还亲手解下晋帝的玺绶。”
王谧当年从刁逵手中救下刘裕，后来不但一直资助刘裕，还激励他事业上进，刘裕一直记在心里，把王谧当做恩人，所以对这件事睁一眼闭一眼，并没有去加罪王谧。刘裕执掌朝纲后，到处寻求人才，先后重用刘穆之、胡籓、臧熹等人，又整理纲纪，打击豪强，严肃法律，稳定了社会。
不久诸葛长民也回来了。原来，诸葛长民被押到当利口的时候，传来消息，桓玄败出京城。押送诸葛长民的士兵也起义反对桓玄，打开囚车放出诸葛长民等人，诸葛长民又潜回到历阳，发动兵变。刁逵在兵变中失败，弃城而走，后来被其部下擒回，反被诸葛长民用槛车押送到京城。刘裕以前被刁逵欺负过，所以连审都没审，就让人把刁逵杀了。
击败桓玄入京后，按道理应当封赏功臣。但皇帝不在了，封官的事就只好互相推选吧。王谧和大家推举刘裕为扬州刺史。刘裕一再拒绝，最后以王谧为侍中，领司徒，扬州刺史，录尚书事。大家又推举刘裕为使持节，都督扬、徐、兖、豫、青、冀、幽、并八州诸军事，徐州刺史，推选刘毅为青州刺史，何无忌为琅琊内史，孟昶为丹阳尹，刘道规为义昌太守，诸葛长民为宣城内史。刘敬宣和司马休之听说刘裕打了胜仗，起义成功，也从南燕回国。毕竟刘裕当年是跟着刘牢之混起来的，看在刘牢之的面子上，刘裕让大家推选刘牢之的儿子刘敬宣为晋陵太守，又任命司马休之为会稽内史。
刘毅、何无忌、刘道规的晋军在桑落洲与桓玄的战将何澹之激战，这时桓玄的军队还很多，双方打了很多天不分胜负。何澹之想了个自以为是的计策，他悄悄地移到郭昶之舰中，让自己的旗舰冲向敌阵，以诱晋舰来围攻，这样其他楚舰则可以仗着舰多兵多对晋舰进行反包围。但他担心泄密，并没有把这个事通知到每条船上，而是憋在自己肚子里不说。这就为后来的败仗埋下了伏笔。
晋军很快把这只旗舰攻下。何无忌一马当先，攻入旗舰中，却不见主帅何澹之。何无忌方知上当，这时候楚舰已经从四面八方将晋舰包围，何无忌急中生智，出来喊道：“何澹之已被我生擒了，你们还不投降？”
楚军见旗舰被攻下，所以都相信何无忌擒住了他们的主帅，皆无斗志，纷纷撤退。晋军乘势追击，楚军大败。何澹之从郭昶之的舰中急得跳出来大喊：“我在这里！”竟然无人注意，楚军大败。何澹之和郭昶之只好弃舰而逃。晋军遂攻克湓口，进据浔阳，又从浔阳继续进兵。
桓玄又派苻宏为前锋，率荆州水军二万阻挡刘毅。刘毅的军队只有一万，听说桓玄船高兵多，便打算回浔阳坚守。刘道规道：“敌众我寡，即使退到浔阳，也难坚守。不如乘胜进攻，一鼓作气，与之死战。两军决战，雄者克！不在兵多！”何无忌也不同意退兵。
刘毅于是继续进军，在峥嵘洲与桓玄的水军遭遇后，两军混战。由于晋军兵少，又处于下游，开战后处于不利的局面，开始后撤。但这个时候忽然刮起了东风，而且这场风刮得特别猛烈。水军交战，风向特别重要。楚军虽然处于上流但遇到强烈的逆风，船只都被吹得后退。晋军趁势掩杀，并同时射出火箭放起火来。楚船纷纷中箭着火，风助火势，越来越大，楚军登时溃败。桓玄见此情景，再一次指天长叹道：“这是上天亡我啊！”桓玄乘小船逃走，殷仲文投降晋军。
桓玄逃回江陵后，苻宏、冯该等将请桓玄整兵再战。但楚军上下，大多将士充满悲观情绪，就是桓玄也认为上天站在刘裕的那一边而再无斗志，打算去汉中投奔梁州刺史桓希。但桓玄出逃的消息被人走漏，他出发的前一夜，有人趁机发起暴乱，哄抢国家的府库和沿街商店。桓玄也顾不得整兵镇压了，只想快跑，于是带了三四百亲信士兵，连夜从城西出逃。因为走得着急，竟把晋安帝和司马德文给忘在城中。荆州别驾王康产、太守王腾之两个人急忙带着几百侍卫保护住两个人。
桓玄船到江陵西南三十里处的枚回洲时，正遇上宁州刺史毛Ц崭詹∷溃＇的哥哥益州刺史毛璩派孙子毛祐之带着参军费恬、督护冯迁率八百士兵，护送灵柩归葬江陵。毛修之是当年陶侃手下名将毛宝的曾孙，是毛Ш兔车闹蹲樱耸闭诨感那仔攀勘凶鐾推镄Ｎ尽Ｃ拗缇陀凶侥没感男乃迹砸宦犯婊感⒉焕肟Ｕ馐笨吹矫业拇唬愫痛先舜蛘泻簟Ｃv之、费恬、冯迁见是毛修之，便问毛修之要去哪里。毛修之站在船头大喊道：“逆贼桓玄正在船上，你们快过来杀贼！”
桓玄大惊失色，立刻命人去杀毛修之。毛祐之即命手下的几个神箭手，射倒七八个去砍毛修之的士兵。又有箭手去射桓玄，桓玄手下的丁仙期、万盖用身子护住他，这两个人都被射死。
很快毛祐之的船靠了上来，众士兵纷纷跃上船只，杀败桓玄手下人。冯迁将桓玄杀死。时为晋元兴三年（404）五月壬午日，桓玄称帝不足半年，死时年仅三十六岁。卞范之、桓昇等人都被生擒，押送到江陵后斩杀。
毛璩首先得到桓玄被杀的消息，他赶紧率兵进入汉中，假称护送桓玄到了，请桓希出城迎接。桓希出城后被毛璩斩杀。这时，刘毅也率兵进入江陵，以江陵为根据地出兵剿灭桓玄的余党，在涢川击败桓振，在石城击败冯该，在湘中击败苻宏，并把三人杀死。桓谦、何澹之等人逃到后秦。这时已经是第二年正月，晋安帝回到了建康。皇帝回来后，论功封赏：琅琊王司马德文为大司马；刘裕为侍中，车骑大将军，都督荆、司、梁、益、宁、秦、雍、凉八州诸军事，并前时扬、徐、兖、豫、青、冀、幽、并八州，合称十六州都督，领青、徐、兖三州刺史，豫章郡公，统领北府，镇守京口。这一连串的职务，意味着刘裕掌握了东晋全国的兵权。
刘裕的亲信也都身居要职。刘毅为左将军、豫州刺史，南平郡公；何无忌为右将军、江州刺史，安城郡公；刘道规为辅国将军、荆州刺史；毛璩为征西将军；毛修之为骁骑将军，冯迁为汉嘉太守。
这时卢循趁着刘裕和桓玄打仗，攻下广州，自称平南将军，又派姐夫徐道覆攻下始兴（今广东省北部），几乎占领了相当于今天广东省的全境。刘裕正打算派兵去征讨，这时益州又有一个叫谯纵的也造反了。
毛璩杀桓希占领巴蜀之地后，派他的弟弟毛瑾、毛瑗与参军谯纵、侯晖、阳昧等率三万巴蜀士兵沿江东而下剿灭桓玄的余党。蜀兵都不愿意出蜀东征，因此对毛璩很有怨言。侯晖、阳昧遂打算造反并据险占据巴蜀。但两个人的威信不如谯纵，这两个人便找谯纵商量。谯纵坚决不同意，并且逃走。侯晖、阳昧带兵追上谯纵，把谯纵绑架回来。谯纵宁死不从，甚至趴在地上给两个人磕头，肯求辞去这个造反首领职位。侯晖、阳昧干脆把他绑在车上，然后打着“谯”字旗号，西攻涪城。毛瑾不敌二人，城破被杀。侯晖、阳昧遂推举谯纵为梁、秦二州刺史。谯纵一看，反也反了，胜也胜了，是死是活，都得往前走了，只好答应作这批造反者的领导。谯纵带兵进攻成都，营户（世代服兵役的人及其家属为营户，地位要低于平民，归国家管辖，归将领役使）李腾打开城门，叛军涌入，杀死毛璩、毛瑗以及他们俩的全家。谯纵于是自称为成都王，并向后秦称藩。川蜀之地，再次分裂了出去。
刘裕因为刚刚平定了桓玄之乱，国家的经济实力还很弱，而川蜀路险，远征也不容易，只好暂时不去管他。卢循占据广州等地后，派人向东晋朝廷进贡称臣，刘裕也因为同样的原因罢兵，接受了卢循的这种其实是保存实力的投降，任命卢循为广州刺史，任命徐道覆为始兴相。
东晋义熙三年（407）十二月戊子，刘裕的恩人，扬州刺史王谧病死。刘裕趁机取得扬州刺史的职位，当时这个职位还掌握着京城的兵权；刘裕同时还谋得“录尚书事”的职位，这意味着进入国家最高权力中心———尚书台，并拥有批阅国家所有奏章、进行国家行政决策的权力。也就是说，刘裕从这个时候掌握了整个东晋的政权、军权、财权等一切权力，成为东晋的实际掌管者。
刘裕掌握东晋之后，第一件事就是北征南燕立威信。其实，刘裕北