后来还是桓宣劝降了张平手下大将谢浮，杀死张平才得以攻下城池。樊雅率兵前来报仇，被祖逖打得大败，战死军中，剩下的人一看主将死了，便一齐都投降了。
这时又有占据蓬陂、陈留（今河南开封）的乞活军首领陈川派大将魏硕在祖逖所占的各县抢掠，祖逖派韩潜设伏杀败魏硕，一直追到蓬陂。陈川猝不及防连丢几城，知道不是祖逖的对手，干脆投降了石勒。石勒派桃豹领兵去与祖逖交战。两军相持了将近两个月，韩潜的军粮渐渐紧缺。因为当时河南和安徽等地连年战乱，许多地都撂荒了，很少有人种田。祖逖的军粮绝大部分需要从江东运来，因为道远，所以难以为继。
祖逖判断对方深处河南，粮草需从黄河以北接济，必定也有粮荒，遂派人绕道桃豹背后，劫了桃豹的军粮。桃豹一看军粮无继，只好撤军，祖逖因此得了蓬陂，大军进入河南。
这时河南有荥阳太守李矩驻兵在新郑，河内太守郭默驻兵在怀县，河东太守魏该驻兵在宜阳，这些人都是流民，也算是乞活军的一部分，平时各自为政，遇有敌人来袭时便联手互保。他们听说祖逖进兵河南，便一齐归顺了祖逖。接着，驻守洛阳的汉国大将赵固献城给李矩，也加入到祖逖的军队来。刘聪听说祖逖尽占河南、安徽之地，便命太子刘粲率军十万来攻洛阳。赵固守不住洛阳，败走阳城山（今河南焦作）。这时李矩、郭默等援兵才刚刚赶到，与刘粲对峙于洛阳城外。
李矩、郭默、赵固、魏该等军半夜袭击刘粲，刘粲没有防备被杀得大败，率败军退到黄河以北。因为晋军偷营时都喊“生缚刘粲，以赎天子！”刘粲逃回平阳后奏请刘聪杀司马邺，说只有杀了司马邺才能动摇东晋北伐的决心。
刘聪犹豫道：“我以前杀了司马炽，民心还不是这个样子？照样有新的皇帝被晋朝拥立！还是不要杀司马邺了。”
刘粲道：“当年周武王难道想杀纣王么？不过是怕他成为日后的祸患。现在祖逖所过之处，投奔者甚众，都以迎还司马邺为号召，我看应当早除此人！”
刘聪被说动了，遂杀司马邺，此时为公元317年12月。
消息传到江东，已经是公元318年3月，建康百官遂请司马睿称帝，刘琨、段匹、段疾陆眷、邵续、慕容廆、崔毖等冀北和东北的割据势力也得到了司马邺被害的消息，派使臣前来劝进。司马睿假装推托了几日，然后在王导等人的极力劝说下，终于同意登帝位。
建武二年（318）三月丙辰日，司马睿正式登基，是为晋元帝。司马睿登基时还有一个小插曲，礼毕还朝时，司马睿请王导和他共坐御床，一齐受百官的朝贺。王导吓了一大跳，再三拒绝，司马睿才没有坚持。但“王与马共坐天下”的话，从此为天下人所用。
司马睿追谥幼帝司马邺为“晋愍帝”，立司马绍为皇太子，加封王导为骠骑大将军，开府仪同三司，王敦为江州牧，授李矩为司州刺史。所有文武都有封赏。
同在这一年，辽西公段疾陆眷病卒，段氏鲜卑发生内乱，祖逖的好友，晋末英雄刘琨被害！
段疾陆眷病卒后，因为他的几个儿子都还年幼，遂由段疾陆眷的叔父段涉复辰继大单于位。段匹和刘琨的儿子刘群领着几千人马前往辽西为哥哥奔丧。
段疾陆眷的堂兄弟段末柸对段涉复辰道：“我看段匹并非是为奔丧而来，而是来篡位的。”
段涉复辰一想也是，段匹是段疾陆眷的亲弟弟，也有资格继大单于位，自己继了侄儿的位置，段匹不满是有可能的。而且奔丧就奔丧吧，你带几千人马干吗。必是篡位无疑。于是问段末柸怎么办。
段末柸道：“这很简单。兵来将挡，水来土掩。叔叔已经是大单于了，难道还要把这个位置让给他不成？您派大军去击败段匹即可。”段涉复辰于是派十万精兵去阻截段匹。这十万兵刚走出去一天，段末柸就在京城发动了兵变，杀死段涉复辰，并杀尽段涉复辰的兄弟子侄及其党羽，自命大单于。派人将十万精兵收回，重新整兵之后，再来战段匹。
段匹数千人马自然寡不敌众，大败逃回蓟城。刘琨的儿子刘群被俘。段末柸对刘群很不错，不但用贵宾的礼节相待，而且说要任命刘琨为幽州刺史，逼着刘群写下劝降父亲的书信，派密使潜到蓟城，请刘琨为内应，一齐对付段匹。
使者被段匹的巡兵捉住，搜出书信。刘琨本来带兵据守在征北城（今北京市大兴县境内），听说段匹败回，便来探望。一来就被段匹扣住，并拿出刘群的书信给他看。
段匹道：“刘兄如果想把小弟献给段末，小弟愿伏首就擒。”
刘琨大惊道：“我与你是同盟兄弟，其志在于恢复晋朝，一雪国耻。我怎么会因为一个儿子的缘故就背叛国家，辜负朋友呢？”
段匹笑道：“我知道刘兄是光明磊落的人，其实并没有怀疑你。”
段匹本要放刘琨回去，段匹的弟弟段叔军道：“我们这片地方是汉夷混杂之处。晋人之所以不敢轻视我们，是因为我们段氏鲜卑团结而强大。现在我们骨肉不和，正是晋人起义的好时机。凭借刘琨的威信，振臂一呼，万人响应。如果放他回去，有人趁机拥刘琨起兵，那段氏之地当为晋人所有，我们将无存身之地。”
段匹是个软耳根子，听了这话便把刘琨软禁起来，并派人去征北城招降刘遵。刘遵守城不出，段匹率军攻破征北城，把刘遵擒回。
幽州别驾卢谌，是当年司马颖手下重要谋士卢志的儿子。他原本是刘琨旧将，听说刘琨被拘，便带人潜入刘琨的院内，要救刘琨出城。
刘琨叹道：“人谁能不死？我只恨下不能为国争一方领土，上不得带军归附晋土，国仇国耻不得洗雪！”说罢推辞不行，卢谌劝了几回也劝不动。只见刘琨挥毫泼墨，写下一首诗：
幄中有悬璧，本自荆山球。维彼太公望，昔是渭滨叟。
邓生何感激？千里来相求。白登幸曲逆，鸿门赖留侯。
重耳凭五贤，小白相射钩。能通二霸主，安问党与仇？
中夜抚枕叹，想与数子游。吾衰久矣夫！何其不梦周？
谁云圣达节？知命故无忧。宣尼悲获麟，西狩泣孔丘。
功业未及建，夕阳忽西流。时哉不我与，去矣如云浮。
朱实陨劲风，繁英落数秋。狭路倾华盖，骇驷摧双。
何意百炼刚，化为绕指柔？
这首《重赠卢谌》后来成为千古传唱的名篇。此诗前面铺叙历史上贤人辅助圣君故事，暗比自己和卢谌、段匹共扶晋室，并说明自己一心为国，不计私怨。诗的后面写功业未建而身被拘絷的痛苦，倾吐自己壮志未酬、时不我待的怅恨和悲哀。悲凉慷慨，千载之下，尚动人心魄。
卢谌怀揣此诗，大哭而去。数日后，段匹诈称奉东晋天子密诏，杀刘琨及其子侄四人。刘琨死时，年仅四十八岁。
卢谌率刘琨余部投奔辽西段末柸，奉刘群为主。幽州晋人有些南去投奔石勒，有些北去投奔刘群，段匹势力大减。北边有段末柸不断进攻骚扰，西南两方又有石勒大军进逼，幽州的各个城池渐被段末柸和石勒蚕食。段末柸很快打到蓟城，城下一战，段匹大败。刘群乘虚占了蓟城。段匹只好率段文鸯等亲信部下领着残兵，一直向南来到山东厌次（今山东惠民县东），投靠了乐陵太守邵续。
汉国分裂
同在这一年，即建武二年（318），汉国也出事了。
刘聪把一切政务交给太子刘粲管理，自己安心享受人生，吃喝玩乐，好不自在。哪知道乐极生悲，有一天刘聪在后宫和刘氏家族的子弟喝酒，喝到深夜时，皆大醉，有人狂歌，有人沉睡。忽然烛台被一阵风吹倒，先将幔帐引燃，又烧上房梁。侍卫、太监、宫女们急忙灭火救人，刘聪总算被救出，但醉酒人太多，刘姓皇族被烧死二十一人，其他人等死者无数，大殿烧成一片焦土。刘聪酒醒之后，大哭于焦土之前，捶胸顿足，自此大病，卧床不起。他知道自己大限将到，遂请靳准进来，将太子刘粲托付于他。又下诏以刘曜为丞相，石勒为大将军，皆为辅政大臣，入朝辅佐太子。刘曜、石勒手握重兵，权倾一方，哪里愿意入朝受人约束，都找了个理由推托。刘聪只好作罢，又以刘景为太宰，刘骥为大司马，刘为太师，朱纪为太傅，呼延晏为太保，皆录尚书事；范隆为尚书令，靳准为大司空、兼司隶校尉，共辅刘粲。安排完毕之后，刘聪于当年七月癸亥日病亡。刘粲继帝位，葬刘聪于宣光陵，谥号昭武皇帝，庙号烈宗。
刘粲继位后也学习他的父亲，不理朝政，朝中大小事情全交给靳准一个人决断，每日在后宫玩耍。父亲替他选的这十几个皇太后，既年轻又漂亮，也省得他去选美了。刘粲每日就和这些皇太后厮混在一起。
靳准是个谁也看不透的人，正是他轻而易举地灭掉了刘聪苦心经营起来的，貌似强大的汉国。他趁着大权在握，把堂弟靳明封为车骑大将军、靳康封为卫将军，执掌了汉国的兵权，然后向刘粲诬告刘氏诸王谋反。
刘粲一定忘记了，当年就是靳准凭着诬告刘乂谋反的阴谋帮着他取得了太子位，现在靳准又来这一套，刘粲竟然相信了。他把刘氏宗族杀得干干净净，那一年从大火中侥幸逃出的刘氏宗族子弟，却逃不出刘粲的屠刀。看来人心比烈火还要无情和狠毒。
等刘粲把自家人全部杀干净了，就轮到他自己了。
靳准发动政变，乱军攻入皇城。刘粲在这个时候竟然喊出，快叫靳准救我！
靳准来了，当然不是救他命的，而是要他命的。
刘粲明白过来以后，跪倒在靳准脚下乞求活命。靳准把刘粲的罪状一一数出，然后当场将他诛杀。他命令除去自己的两个女儿外，凡是刘家人，无论老幼一律杀死。除了征北将军刘雅一人逃出外，刘氏剩下的三百余口全都被斩于东市。靳准又挖掘刘渊和刘聪坟墓，砍下刘聪的人头，焚烧皇家祭庙。《晋书？刘粲载记》形容当时惨景：“鬼大哭，声闻百里。”
靳准自称大将军，但他只是称王（号“汉天王”）却没有称帝。更出人意料的是，他奉东晋为主，说：“自古无胡人为天子者，今当将传国玺送还晋家。”遂派使臣先到荥阳，告知李矩说他已经为晋朝复仇，屠灭刘族，很快就将率兵带着二帝的梓棺回到南方。
李矩立即驰报建康，司马睿派太常韩胤等去平阳，迎还二帝的梓棺。韩胤刚到了黄河南岸，正准备渡河，听说刘曜和石勒已经率大军攻入山西，直奔平阳，知道大战在即，只好返回。
刘雅逃到长安。刘曜听说平阳刘氏全部被诛，自己的母亲和兄弟也没能幸免，当即发兵，以刘雅为先锋，杀向平阳。走到半路，众人都劝刘曜称帝。要说靳准还真为刘曜办了一件大好事。本来刘曜与刘聪只是族兄弟，血缘差得很远，再怎么轮也轮不上他当皇帝。可是靳准把刘氏皇族一口气全部杀光了，一个都没给剩下，刘曜就名正言顺地成为汉国的合法继承人。
刘曜赤壁称帝，改元光初，然后带大军来到粟邑县（今陕西临潼县东北三十四里），陈兵于石勒准控制地区的边界。
这时石勒也以张敬为先锋，率五万士兵，来到襄陵（今山西临汾南部襄汾境内），这个地方距离平阳（今山西临汾尧都区）相当近。
靳准率军去攻石勒，石勒坚守不出。先锋张敬道：“您不至于怕靳准怕成这样吧。咱们大老远来不就是为了攻打靳准么？”
论起打仗来，石勒当然是专家，他笑道：“等刘雅带兵来了，靳准一定退军。到时我再出兵，必败靳准。”
果然不久刘雅来到，靳准退兵。石勒率兵掩杀，靳准大败，丢了几千人马逃回城中。
靳准见刘聪和石勒会兵一处来征讨自己，知道肯定打不过人家，便打算想个办法先使一方退兵，再回过头来专心对付另一方。因为自己和刘氏有深仇大恨，去让刘曜退兵可能难度系数要高一些，只能去拉拢石勒了。于是派侍中卜泰出城，将皇帝的车驾、服饰、御用之物全部送给石勒，意思是尊石勒为主。石勒大怒道：“这是靳准的离间之计，欲陷我于不义！”当即命人绑了卜泰，将卜泰连同皇帝的车驾、服饰、御用之物一股脑儿全送给了刘曜。
刘曜却是另一番举动，他亲自为卜泰解缚，和颜悦色地对卜泰说：“先皇帝的确有不对的地方，靳准干得好啊，他其实是个大忠臣。他做的事当年商朝的伊尹和汉朝的霍光这两位贤臣也都做过。而且他又使朕得以登帝位，是大功一件啊。如果能早点迎朕入城，朕一定要任命他高官。你赶紧回城