祖逖本打算攻城，參軍桓宣說，大家其實都是自己人，都是漢民，也曾是東晉子民，有話好商量。我正好又和張平、樊雅有過一麵之交，不如我進去勸降。
能用嘴皮子說下來這個城池當然更好啦。祖逖於是派桓宣入城。張平、樊雅也是講道理的人，說現在天下大亂，自己在這裏割據無非是據兵以自保，混口飯吃。桓宣說，混能混到什麽時候呢？不如幹點兒正事吧。你看，我們是東晉派來的正規軍，打算北伐恢復晉室，你們不如加入我們。大家一塊兒立功建業不好麽？
張平、樊雅說好啊，兩下裏很快談妥。祖逖又派參軍殷義進城收編。殷義是個自命不凡、十分欠揍的傢夥。他進城後故意侮辱張平，指著他的軍府說：“此屋也就能當馬廄。”又指著府中一個大鐵鍋說，“此玩意兒放這兒也是個廢物，不如化了鑄為鐵器。”
張平不高興道：“這是帝王鑊，以後咱們北伐成功天下清平後還要用的，怎麽能毀去？”
殷義斜著眼看了張平一眼道：“你的腦袋還不定能不能保住呢，你還想保一個破鐵鍋？”
張平本來就是個粗人，此時再也忍不住了，先把殷義的腦袋砍下。他認為祖逖有意派這個東西來侮辱自己，遂關上城門死守，又把殷義的首級懸在城頭示眾。祖逖見殷義被殺，也沒鬧明白，不過翻臉是肯定的了，當即率兵攻城。張平率眾死守。一連數天祖逖攻不下來。後來還是桓宣勸降了張平手下大將謝浮，殺死張平才得以攻下城池。樊雅率兵前來報仇，被祖逖打得大敗，戰死軍中，剩下的人一看主將死了，便一齊都投降了。
這時又有占據蓬陂、陳留（今河南開封）的乞活軍首領陳川派大將魏碩在祖逖所占的各縣搶掠，祖逖派韓潛設伏殺敗魏碩，一直追到蓬陂。陳川猝不及防連丟幾城，知道不是祖逖的對手，幹脆投降了石勒。石勒派桃豹領兵去與祖逖交戰。兩軍相持了將近兩個月，韓潛的軍糧漸漸緊缺。因為當時河南和安徽等地連年戰亂，許多地都撂荒了，很少有人種田。祖逖的軍糧絕大部分需要從江東運來，因為道遠，所以難以為繼。
祖逖判斷對方深處河南，糧草需從黃河以北接濟，必定也有糧荒，遂派人繞道桃豹背後，劫了桃豹的軍糧。桃豹一看軍糧無繼，隻好撤軍，祖逖因此得了蓬陂，大軍進入河南。
這時河南有滎陽太守李矩駐兵在新鄭，河內太守郭默駐兵在懷縣，河東太守魏該駐兵在宜陽，這些人都是流民，也算是乞活軍的一部分，平時各自為政，遇有敵人來襲時便聯手互保。他們聽說祖逖進兵河南，便一齊歸順了祖逖。接著，駐守洛陽的漢國大將趙固獻城給李矩，也加入到祖逖的軍隊來。劉聰聽說祖逖盡占河南、安徽之地，便命太子劉粲率軍十萬來攻洛陽。趙固守不住洛陽，敗走陽城山（今河南焦作）。這時李矩、郭默等援兵才剛剛趕到，與劉粲對峙於洛陽城外。
李矩、郭默、趙固、魏該等軍半夜襲擊劉粲，劉粲沒有防備被殺得大敗，率敗軍退到黃河以北。因為晉軍偷營時都喊“生縛劉粲，以贖天子！”劉粲逃回平陽後奏請劉聰殺司馬鄴，說隻有殺了司馬鄴才能動搖東晉北伐的決心。
劉聰猶豫道：“我以前殺了司馬熾，民心還不是這個樣子？照樣有新的皇帝被晉朝擁立！還是不要殺司馬鄴了。”
劉粲道：“當年周武王難道想殺紂王麽？不過是怕他成為日後的禍患。現在祖逖所過之處，投奔者甚眾，都以迎還司馬鄴為號召，我看應當早除此人！”
劉聰被說動了，遂殺司馬鄴，此時為公元317年12月。
消息傳到江東，已經是公元318年3月，建康百官遂請司馬睿稱帝，劉琨、段匹、段疾陸眷、邵續、慕容廆、崔毖等冀北和東北的割據勢力也得到了司馬鄴被害的消息，派使臣前來勸進。司馬睿假裝推託了幾日，然後在王導等人的極力勸說下，終於同意登帝位。
建武二年（318）三月丙辰日，司馬睿正式登基，是為晉元帝。司馬睿登基時還有一個小插曲，禮畢還朝時，司馬睿請王導和他共坐禦床，一齊受百官的朝賀。王導嚇了一大跳，再三拒絕，司馬睿才沒有堅持。但“王與馬共坐天下”的話，從此為天下人所用。
司馬睿追諡幼帝司馬鄴為“晉湣帝”，立司馬紹為皇太子，加封王導為驃騎大將軍，開府儀同三司，王敦為江州牧，授李矩為司州刺史。所有文武都有封賞。
同在這一年，遼西公段疾陸眷病卒，段氏鮮卑發生內亂，祖逖的好友，晉末英雄劉琨被害！
段疾陸眷病卒後，因為他的幾個兒子都還年幼，遂由段疾陸眷的叔父段涉復辰繼大單於位。段匹和劉琨的兒子劉群領著幾千人馬前往遼西為哥哥奔喪。
段疾陸眷的堂兄弟段末柸對段涉復辰道：“我看段匹並非是為奔喪而來，而是來篡位的。”
段涉復辰一想也是，段匹是段疾陸眷的親弟弟，也有資格繼大單於位，自己繼了侄兒的位置，段匹不滿是有可能的。而且奔喪就奔喪吧，你帶幾千人馬幹嗎。必是篡位無疑。於是問段末柸怎麽辦。
段末柸道：“這很簡單。兵來將擋，水來土掩。叔叔已經是大單於了，難道還要把這個位置讓給他不成？您派大軍去擊敗段匹即可。”段涉復辰於是派十萬精兵去阻截段匹。這十萬兵剛走出去一天，段末柸就在京城發動了兵變，殺死段涉復辰，並殺盡段涉復辰的兄弟子侄及其黨羽，自命大單於。派人將十萬精兵收回，重新整兵之後，再來戰段匹。
能用嘴皮子說下來這個城池當然更好啦。祖逖於是派桓宣入城。張平、樊雅也是講道理的人，說現在天下大亂，自己在這裏割據無非是據兵以自保，混口飯吃。桓宣說，混能混到什麽時候呢？不如幹點兒正事吧。你看，我們是東晉派來的正規軍，打算北伐恢復晉室，你們不如加入我們。大家一塊兒立功建業不好麽？
張平、樊雅說好啊，兩下裏很快談妥。祖逖又派參軍殷義進城收編。殷義是個自命不凡、十分欠揍的傢夥。他進城後故意侮辱張平，指著他的軍府說：“此屋也就能當馬廄。”又指著府中一個大鐵鍋說，“此玩意兒放這兒也是個廢物，不如化了鑄為鐵器。”
張平不高興道：“這是帝王鑊，以後咱們北伐成功天下清平後還要用的，怎麽能毀去？”
殷義斜著眼看了張平一眼道：“你的腦袋還不定能不能保住呢，你還想保一個破鐵鍋？”
張平本來就是個粗人，此時再也忍不住了，先把殷義的腦袋砍下。他認為祖逖有意派這個東西來侮辱自己，遂關上城門死守，又把殷義的首級懸在城頭示眾。祖逖見殷義被殺，也沒鬧明白，不過翻臉是肯定的了，當即率兵攻城。張平率眾死守。一連數天祖逖攻不下來。後來還是桓宣勸降了張平手下大將謝浮，殺死張平才得以攻下城池。樊雅率兵前來報仇，被祖逖打得大敗，戰死軍中，剩下的人一看主將死了，便一齊都投降了。
這時又有占據蓬陂、陳留（今河南開封）的乞活軍首領陳川派大將魏碩在祖逖所占的各縣搶掠，祖逖派韓潛設伏殺敗魏碩，一直追到蓬陂。陳川猝不及防連丟幾城，知道不是祖逖的對手，幹脆投降了石勒。石勒派桃豹領兵去與祖逖交戰。兩軍相持了將近兩個月，韓潛的軍糧漸漸緊缺。因為當時河南和安徽等地連年戰亂，許多地都撂荒了，很少有人種田。祖逖的軍糧絕大部分需要從江東運來，因為道遠，所以難以為繼。
祖逖判斷對方深處河南，糧草需從黃河以北接濟，必定也有糧荒，遂派人繞道桃豹背後，劫了桃豹的軍糧。桃豹一看軍糧無繼，隻好撤軍，祖逖因此得了蓬陂，大軍進入河南。
這時河南有滎陽太守李矩駐兵在新鄭，河內太守郭默駐兵在懷縣，河東太守魏該駐兵在宜陽，這些人都是流民，也算是乞活軍的一部分，平時各自為政，遇有敵人來襲時便聯手互保。他們聽說祖逖進兵河南，便一齊歸順了祖逖。接著，駐守洛陽的漢國大將趙固獻城給李矩，也加入到祖逖的軍隊來。劉聰聽說祖逖盡占河南、安徽之地，便命太子劉粲率軍十萬來攻洛陽。趙固守不住洛陽，敗走陽城山（今河南焦作）。這時李矩、郭默等援兵才剛剛趕到，與劉粲對峙於洛陽城外。
李矩、郭默、趙固、魏該等軍半夜襲擊劉粲，劉粲沒有防備被殺得大敗，率敗軍退到黃河以北。因為晉軍偷營時都喊“生縛劉粲，以贖天子！”劉粲逃回平陽後奏請劉聰殺司馬鄴，說隻有殺了司馬鄴才能動搖東晉北伐的決心。
劉聰猶豫道：“我以前殺了司馬熾，民心還不是這個樣子？照樣有新的皇帝被晉朝擁立！還是不要殺司馬鄴了。”
劉粲道：“當年周武王難道想殺紂王麽？不過是怕他成為日後的禍患。現在祖逖所過之處，投奔者甚眾，都以迎還司馬鄴為號召，我看應當早除此人！”
劉聰被說動了，遂殺司馬鄴，此時為公元317年12月。
消息傳到江東，已經是公元318年3月，建康百官遂請司馬睿稱帝，劉琨、段匹、段疾陸眷、邵續、慕容廆、崔毖等冀北和東北的割據勢力也得到了司馬鄴被害的消息，派使臣前來勸進。司馬睿假裝推託了幾日，然後在王導等人的極力勸說下，終於同意登帝位。
建武二年（318）三月丙辰日，司馬睿正式登基，是為晉元帝。司馬睿登基時還有一個小插曲，禮畢還朝時，司馬睿請王導和他共坐禦床，一齊受百官的朝賀。王導嚇了一大跳，再三拒絕，司馬睿才沒有堅持。但“王與馬共坐天下”的話，從此為天下人所用。
司馬睿追諡幼帝司馬鄴為“晉湣帝”，立司馬紹為皇太子，加封王導為驃騎大將軍，開府儀同三司，王敦為江州牧，授李矩為司州刺史。所有文武都有封賞。
同在這一年，遼西公段疾陸眷病卒，段氏鮮卑發生內亂，祖逖的好友，晉末英雄劉琨被害！
段疾陸眷病卒後，因為他的幾個兒子都還年幼，遂由段疾陸眷的叔父段涉復辰繼大單於位。段匹和劉琨的兒子劉群領著幾千人馬前往遼西為哥哥奔喪。
段疾陸眷的堂兄弟段末柸對段涉復辰道：“我看段匹並非是為奔喪而來，而是來篡位的。”
段涉復辰一想也是，段匹是段疾陸眷的親弟弟，也有資格繼大單於位，自己繼了侄兒的位置，段匹不滿是有可能的。而且奔喪就奔喪吧，你帶幾千人馬幹嗎。必是篡位無疑。於是問段末柸怎麽辦。
段末柸道：“這很簡單。兵來將擋，水來土掩。叔叔已經是大單於了，難道還要把這個位置讓給他不成？您派大軍去擊敗段匹即可。”段涉復辰於是派十萬精兵去阻截段匹。這十萬兵剛走出去一天，段末柸就在京城發動了兵變，殺死段涉復辰，並殺盡段涉復辰的兄弟子侄及其黨羽，自命大單於。派人將十萬精兵收回，重新整兵之後，再來戰段匹。