張耳與陳余見了面，他責備陳余的見死不救，並且詢問張黶、陳澤的下落。陳余耐不住脾氣，發怒說：「張黶、陳澤要求我率軍與你們一同與秦軍決死。我先是派遣他們帶領五千人馬去試探秦軍的實力，結果全軍覆沒，他們沒能脫身。」張耳不相信他的話，以為陳余將他們殺掉了，便再次追問陳余，陳余大怒，說道：「沒想到，因為這件事，您對我的怨恨竟然有這麼深！難道您認為我是貪戀將軍的職務嗎？我是那種當了官就變了心的人嗎？」陳余一氣之下，解下了身上的印綬，將其推給張耳。張耳愕然，沒有接受。
過了一會兒，陳余起身上廁所。賓客中有人勸告張耳說：「我聽說『不接受上天的賜予的人，反而會遭受上天的懲罰』。現在，陳將軍把印綬交給您，您如果不接受，那就是違背了天意，這不吉祥。您應當趕快收下它！」其實也是借口，就像你打開家門，忽然發現一捆錢，你是聲張呢，還是趕緊拾起來呢？突發事件，就要考驗你的意志了。於是，張耳佩戴上了陳余的印信，接收了他的部下。陳余方便回來，目瞪口呆，心想我只不過是一時之氣，張耳這個老匹夫竟真的厚著臉皮收下了，罷了，你我的情誼就此了結了，就快步退了出去。結果，張耳收編了陳余的軍隊。陳余與幾百名親信逃到了黃河沿岸的湖澤中，在那裡捕魚、打獵，等待著東山再起的時機。從此，張耳與陳余這兩個曾經為生死之交的朋友就反目成仇了。
相互殘殺
此時，趙王歇仍舊住在信都（今河北省冀縣）。後來，張耳跟隨項羽和各路諸侯一起進入了關中。漢元年二月，項羽分封諸侯王。張耳向來交遊甚廣，所以有很多人都為他說好話，而項羽也曾經多次的聽說張耳的賢能，因此，便從趙地分出一部分土地，封張耳為常山王。張耳建都信都，將其改名為襄國。陳余的賓客中有不少人勸項羽說：「陳余與張耳一樣，對趙國有莫大的功勞。」但是，項羽認為陳余沒有跟隨他進入關中，沒有什麼功勞，又聽說他在南皮，於是，便把南皮附近的三個縣封給他，而把趙王歇改封為代王，將其趕到了代地。
張耳高興地回到了自己的封國。陳余聽說了項羽分封的結果，惱怒地說：「張耳和我的功勞一樣。現在，張耳被封為王，而我只是被封為侯，這是項羽的處事不公。」不久，齊王田榮率先挑戰項羽的權威，舉兵反叛。於是，陳余派夏說去遊說田榮說：「項羽現在奪得了天下，就忘記了天下不只是他自己奪下來的。他為人處世太不公平。他把跟隨他的諸位將領都封在了土地肥美的地方，而把那裡原來的君王改封到土地貧瘠、人煙稀少的地方，趙王歇竟然被改封到代郡去了！希望大王能借給我部分的兵力，我會以南皮地區作為您的保障。」田榮也想在趙地樹立黨羽，來反擊楚國，就答應了陳余的請求。於是，陳余全面動員所轄地區的兵源，加上齊王派來的援兵，突然襲擊了常山王張耳，張耳敗逃。張耳面對巨大的危機，窘迫萬分，認為眾多的諸侯王之中沒有什麼人值得他去歸附，便對手下人說道：「漢王劉邦雖然與我有老交情，但是，項羽的勢力極大，是他立我為王的，我打算去投奔項羽。」甘公說：「漢王進入關中的時候，五星聚集在東井天區，而東井天區對應的封地為秦地，所以，率先到達秦地的必定會成就霸業。楚國即使目前十分強盛，最後也必定會歸屬於漢。」因此，張耳決定投奔劉邦。此時，劉邦正回師，平定三秦，在廢丘圍攻章邯。張耳到那裡拜見了劉邦，劉邦是不會虧待老朋友的，不但以隆重的禮儀接待了張耳，還把魯元公主嫁給了張耳的兒子。
陳余打敗張耳以後，收復了全部的趙地，然後，專程把趙王歇從代地迎接回來，仍然擁立他為趙王。趙王十分感激陳余的恩德，便把他立為代王。陳余認為趙王勢力微弱，國家又剛剛穩定，所以，並沒有前往封國，而是留下來輔佐趙王，派夏說以相國的身份去鎮守代國。