曹操率主力深入漢中，孫權也沒有浪費這次好機會，他迅速在東線出擊，試圖一舉奪取合肥。合肥是曹操東線戰場的支撐點，拿下合肥就等於佔領了整個揚州。
建安二十年（215）8月，就在曹操攻破南鄭的同時，孫權調集10萬人馬，由自己率領進攻合肥。此戰孫權志在必得，所以幾乎帶來了吳軍的全部精銳，呂蒙、甘寧、蔣欽、凌統、陳武、徐盛、賀齊、潘璋等。最能打的都來了。
曹操西征漢中前留下張遼、李典、樂進守合肥，但給他們留下的人馬並不多，只有7000人，合肥看來凶多吉少。擔任駐合肥各軍護軍的薛悌謹遵曹操的指示，一直沒有打開曹操臨走前留下的那個密函，現在孫權率10萬人馬殺來，時機到了。
薛悌請來張遼、樂進、李典諸將，當眾人面打開了那封密函。
大家都以為丞相留下了什麼秘密武器，期望值挺高，誰知打開密函以後，只看到上面寫了幾句話：「如果孫權來了，讓張遼和李典二位將軍出戰，樂進將軍留守，薛參謀長不得參戰。」
就是這些啊？大家有些失望。
而且似乎也有問題，現在明顯寡不敵眾，只能死守以待援軍，主動出擊會正中敵人的下懷，在實力如此懸殊的情況下能否取勝實在沒有多大希望。但張遼認為曹丞相的指示是正確的，他說：「曹公遠征在外，如果我們坐等待援，敵人必然會擊破我們。所以曹公命令我們趁敵人沒有集齊之時發起攻擊，挫傷他們的銳氣，以安定軍心，然後才能守住。」
對張遼的看法大家還有些猶豫，包括樂進、李典在內，眾人一時都還下不了決心，張遼生氣道：「成敗之機，在此一戰。諸君如果還要懷疑，我張遼願意單獨一戰！」李典深受觸動，他跟張遼平時有矛盾，此時也慨然道：「這是國家大事，我不能以私心而忘記公義，請讓我跟隨你前進！」
張遼連夜招募敢死隊，共選了800人，給他們殺牛饗食，飽餐一頓，到了天亮，張遼親自披甲持戟，率領這800勇士殺入敵營。對曹軍這一手吳軍沒有任何思想準備，10萬對7000，勝負幾乎沒有懸念，腦子只要還正常，就會選擇死守待援，能多撐一天就多一分生的希望，主動發起挑戰無異於自殺。
哪知曹軍不僅殺了出來，而且士氣還很高昂，張遼一邊殺，一邊大呼自己的名字，他們連殺數十名敵兵，其中還包括兩員將領，他們衝鋒的速度極快，轉眼就殺到孫權的指揮部。孫權幾乎來不及反應，跟前有一個土堆，可能是一處墳堆，孫權顧不了那麼多，抱著一把長戟就上了土堆。
張遼站在土堆下，高喊讓孫權下來一戰，孫權不敢動，這時孫吳的眾將殺了過來，將張遼圍住。張遼率身邊數十人又往外面殺，剛殺出重圍，聽見後面有人求救：「將軍，您要拋棄我們嗎？」張遼回頭一看，見是自己帶來的人有被孫吳的士兵圍住不能脫身的，張遼於是又往回殺，敵兵人馬披靡，沒人敢擋，張遼順利將被圍的士兵解救出來。
這一戰從早晨一直打到中午，張遼就用這800人在孫權大營裡連沖帶殺，孫吳軍隊居然無奈，看著他們殺進殺出，孫吳士氣大損。孫吳軍隊又攻了十多天，被士氣高昂的曹軍擋在城下無法得手，孫權決定撤兵。
吳軍接到命令陸續撤退，孫權和呂蒙、甘寧、凌統、蔣欽、陳武、潘璋等將領留在後面督陣。合肥城外有條淝水，淝水上有一個渡口叫逍遙津，孫權等人正在逍遙津以北等待過河，被遠眺敵情的張遼恰好發現。
張遼再次率兵突然殺出，目標直指孫權。這一擊實在太突然了，孫權等人毫無防備，呂蒙和甘寧拚死保護孫權，凌統指揮身邊的人架著孫權就走，凌統把孫權轉移到安全地帶，返過來再與曹軍交戰，身邊的人一個個戰死，他也多處受傷，估計孫權已經脫險，這才撤離戰場。
呂蒙、甘寧、蔣欽等人死戰張遼以掩護孫權，甘寧勇猛異常，不停地引弓射敵，負責鼓吹的士兵大概也傷亡得差不多了，甘寧發現自己一方的軍樂隊突然沒了聲響，還厲聲詢問，壯氣毅然。凌統這時也過來，掩護孫權撤退後重新殺回，他跟甘寧配合默契，抵擋住了曹軍的猛攻。
對江東來說此戰打得很慘烈，偏將軍陳武力戰而死，宋謙、徐盛、甘寧等人負傷。徐盛受傷後長矛都弄丟了，賀齊過來救了徐盛一命，撿回徐盛的長矛。陳武自孫策時代便追隨左右，孫權讓他督五校，負責保衛孫權的安全，他力戰而死，算是盡到了職守。對陳武的死孫權很傷心，後來親自參加了陳武的安葬儀式。陳武有個愛妾，孫權下令讓她給陳武殉葬，陳武的兒子陳修日後也成長為孫吳的高級將領。
陳武戰死，徐盛等人受傷，他們手下不少士卒紛紛後退，潘璋趕到，斬殺了兩名後退者，才穩住了陣腳。
張遼遇到一個紫色鬍鬚的吳將，上身長、下身短，在馬上很善射，張遼問孫吳的降卒這個人是誰，降卒回答是孫權，張遼懊悔不已，趕緊跟樂進急追。
孫權騎馬到了逍遙津渡口上的一座橋，這座橋年久失修，橋面已壞，有一丈多寬的地方沒有橋板，此時只有他的親近監谷利在身邊，谷利讓孫權握住馬鞍穩住身體，他在後面揮鞭以助馬勢，馬使勁騰越，最後跳過了斷橋。谷利立下大功，後來被封為都亭侯。
孫權僥倖逃過淝水，遇上賀齊率3000人前來接應，孫權才得以脫險。賀齊把孫權迎入大船，擺上酒宴為孫權壓驚，席間賀齊落下眼淚，他對孫權說：「人主的安危是大事，今天我們幾乎釀成大禍。群臣震怖，像沒有天沒有地了一樣，我將把今天這件事作為終身之誡！」孫權也走下座席，過去替賀齊擦乾眼淚。
甘寧等人隨後突圍而回，其中凌統受傷最重，到淝水邊時，橋已被曹軍破壞，凌統穿著甲冑潛水渡河，到了孫權的大船上，孫權見了又驚又喜，把凌統留在自己的船上。孫權親自為凌統換了衣服，拿出珍藏的卓氏良藥為凌統療傷，凌統才得以不死。
逍遙津一役，曹軍以7000餘人打退孫吳10萬人的進攻，兩次陷孫權於危難，打得吳軍損兵折將，創造了戰場神話。張遼經過此戰名氣更大，自那時起張遼的名字便與逍遙津聯繫在了一起。
此戰也是孫權一生中最大的一次失敗，人多勢眾，猛將如雲，卻被打得難以招架，士氣大傷。後人評論此戰的勝利，一方面歸功於張遼等人作戰勇敢，面對強敵敢於主動出擊，以不足十分之一的力量，打得敵人節節退敗。另一方面對於曹操知人善任也給予高度評價。
曹操在留下的封函裡彷彿已經預知了一年後發生的情況，對於如何用兵給出了清楚的指示，他知道張遼、樂進、李典等人互相不服氣，平時都不買對方的賬，所以把拒敵方案暫時秘而不宣，他相信關鍵時候張遼等人能以大局為重，且互相激勵，一定能出奇制勝。之所以讓張遼擔任主攻，讓樂進守城，是因為曹操瞭解他們的性格，張遼作戰勇猛，有狠勁；樂進打起仗來比較冷靜，適合守城。
除這兩方面原因外，還有一個重要原因被忽視了，孫吳軍隊中正流行瘟疫，削弱了戰鬥力，並迫使人馬後退。根據史書記載，當時碰上了瘟疫，軍隊大部分撤出了發病區。瘟疫的威力在赤壁之戰中表現得很突出，吳軍此次在合肥失利，也與瘟疫有關。
逍遙津舊址在今安徽省合肥市老城區的逍遙津公園內，園內還有張遼墓。張遼祖籍并州刺史部雁門郡，跟關羽是同鄉，因而關係很好。張遼於七年後去世於江都，死後要麼就地葬於江都，要麼葬於家鄉，不大可能葬在合肥，這個墓應該是後人為紀念他而修的衣冠塚吧。