建安二年（197）11月，曹操率軍再征南陽郡。
這次軍事行動前，荀攸曾勸曹操暫時不要在南面用兵，他的理由是：“張繡與劉表相恃為強，然而張繡只是一股遊軍，處處要仰仗劉表的接濟，劉表一旦不給他提供資助，二人勢必分離。不如暫時緩兵，讓他們自動分開；如果我們攻得急，劉表對張繡肯定不能不管，要全力相救。”
事後證明，荀攸的這個分析是有遠見的，但曹操考慮到南面的事不能拖下去，必須盡快解決，好讓自己無後顧之憂，可以騰出手來對付東面的呂布和劉備。所以曹操沒有採納荀攸的建議，繼續進兵。
大軍首先抵達南陽郡最北邊的葉縣，與駐守在那裡的曹洪會合。如果曹操再不來，曹洪可能真守不住了，張繡的部隊以涼州軍為老底子，戰鬥力很強，劉表又派鄧濟等人支援張繡，南陽郡呈現一邊倒的態勢。曹操首先進軍湖陽，那裡是劉表的人馬駐守，曹軍攻克湖陽，生擒了劉表的部將鄧濟。
之後，曹軍轉攻舞陰，將其攻克。在肅清了宛縣這些外圍後，曹操率軍攻打張繡的大本營宛縣，又一次進軍到淯水河畔。這裡是曹操的傷心之地，去年，他的長子曹昂、侄子曹安民以及心愛的將領典韋都戰死在這裡。
在曹軍的強大攻勢下，張繡的主力離開宛縣南撤，退到距宛縣100多里的穰縣，即今河南省鄧州市附近。曹軍佔領了宛縣，取得了此次南征的最大勝利。或許可以考慮就此收手，以宛縣、舞陰一線為分界與張繡、劉表形成對峙，將南陽郡一分為二，壓縮張繡所部的生存空間。
但曹操徹底解決張繡的心情很迫切，不僅因為有仇要報，而且不把臥榻旁邊的這隻虎除掉，他睡覺都不覺得安心，所以曹操親自率軍繼續追擊，對穰縣發起了進攻。
張繡頂不住，急忙向劉表求援。正如荀攸分析的那樣，劉表可以坐視張繡被消耗，卻無法置其被消滅於不管，劉表立即派兵北上馳援張繡。沒有確切記載劉表派了多少人馬前來，但一定不少，動了老本。
劉表的人馬不僅有來馳援穰縣的，還分出一些去佔領穰縣周圍的一些戰略要地，其中有支人馬佔領了一個叫安眾的地方。當時沒有多少人關注這個細節，因為穰縣才是焦點。
穰縣城裡的張繡迎來了劉表的援軍，士氣大振，曹操攻城遇阻。
張繡在城裡做著長期守城的準備，按照眼下的陣勢，曹軍想攻破穰縣，一時半會兒做不到。果然，張繡接到報告，說曹軍退兵了。
張繡害怕曹操使詐，下令先不要貿然去追。但曹軍撤得很迅速，一路向北而去，張繡看看不像有詐，於是大著膽子追了上來。這的確不是曹操使的詐，曹操下令回師是真的，因為許縣大後方出了問題。聽說曹軍主力南下，田豐勸袁紹趁機襲擊許縣，將獻帝搶到自己這裡來，袁紹那邊有人叛逃到曹營，提供了上述情報。
曹操接到情報後認為事關重大，不敢有絲毫遲疑，即刻北撤。這件事很蹊蹺，可以猜測的是，要麼田豐真有此議，而袁紹確實準備發兵襲取許縣，要麼是袁紹造的謠，目的是不讓曹操太順手。當然還有一種可能，這是賈詡的計策，為瞭解穰縣之圍故意製造謠言。不過曹操在做出回師決定時一定是有充分依據的，如果這樣看，第一種可能性應該最大。
曹軍要回師許縣，最快速的推進方式是走南方大道。東漢的南方大道跟東方大道、東北方大道一樣，是全國交通網裡的骨幹線路，它起自洛陽，聯結魯陽、宛縣、穰縣、襄陽以及南郡的治所江陵、武陵郡的治所漢壽，走這條道就好比上了高速公路，直線距離最短，路也最平坦寬闊。
曹操現在只想火速回師以解許縣之危，因此想都沒有想，指揮人馬沿著南方大道向北疾行，要走這條路必須路過安眾。
安眾此時已在劉表的手中，穰縣以北僅20多里處是一片山地，地勢很險要，南方大道在此穿山而過，形成了一處要塞，這就是安眾。
曹操包圍穰縣時沒有想過這麼快就會撤軍，所以忽視了背後的這處要點。劉表的援軍恰恰發現了這裡很重要，於是分重兵佔領，實際上斷了曹軍的後路。劉表的人馬進入安眾要塞後，立即整修防禦工事，以南方大道為軸線，以山地為依托很快建成了一條東西連綿數十里的防線。曹操率軍抵達安眾，突然發現過不去了，如果繞道而行，無論向西還是向東都是山區，道路不暢，費時費力不說，敵軍依托有利地形更容易襲擊自己。
安眾防線就像一條鐵鏈，牢牢地縛住了急於回師的曹軍。張繡也指揮穰縣的人馬從後面殺來，曹軍面臨前後被夾擊的不利處境，局面一時陷入僵持。
情況顯然對曹軍很不利，雖然人數佔優勢，但在有限的區域內兵力難以全部展開，在這種情況下，守著有利地形的一方更佔優勢，曹軍陷入了所謂的死地。在此關鍵時刻，曹操發揮了軍事上的天才想像力，指揮人馬神不知鬼不覺地突破了看似牢不可破的安眾防線，並且基本上沒有什麼損失。
曹操是怎麼做到的？這一點史書沒有詳細解釋。曹操此前曾給荀彧寫了封信，說只要到了安眾，必然能打敗張繡，後來果然把張繡打敗了。回師後荀彧見到曹操，討教破敵的辦法，曹操的回答是：“兵法說‘歸師勿遏’，而敵人非要阻擋我們的歸師，並且跟我們爭奪死地，我所以知道他們必敗。”
但這番話等於沒說，不是所有的歸師都能打勝仗，也不是在所有的死地裡都能起死回生。其實，曹軍之所以化險為夷，是因為他們採取了敵人想像不出的作戰方式，這就是地道戰。
曹操白天與敵人對陣，晚上悄悄地在最險要的地段挖掘地道，這項巨大工程估計頗費時日，絕不是一夜之間可以完成的。曹軍到達安眾時是5月，回師到許縣荀彧向曹操討教破敵秘密的時候已經是7月了，這從側面印證了安眾地道挖掘工程量的巨大。
最後，曹軍的工兵部隊以頑強的毅力挖通了安眾防線，曹操指揮人馬趁夜遁去。
天亮後，張繡吃驚地發現數萬曹軍一夜之間不見了蹤影。
偵察之後才發現，曹軍已從地道裡越過了他們精心構築的防線，張繡立即下令追擊。賈詡過來勸張繡不要追，否則必然失敗。張繡不聽，指揮所部人馬以及劉表的參戰部隊全軍壓上，沿著曹軍撤退的路線追擊，但是吃了敗仗。
他們還沒有追上撤退的曹軍，卻先後迎面遇上了曹軍新投入戰場的兩支生力軍，這兩支人馬不約而同擋住張繡、劉表聯軍，上來一頓猛打，把張繡、劉表聯軍打得大敗而回。
這兩支人馬，一支由曹仁帶隊，一支由李通率領，他們倒不是商量好的統一行動，而是碰巧遇到了一起。曹仁沒有隨曹軍主力行動，曹操派他肅清宛縣附近幾個縣的殘敵，而李通駐守在南陽郡以東的汝南郡，是曹軍距此最近的部隊。這兩支人馬都是得知曹軍主力被阻於安眾防線而前來解圍的。趕到時，正好遇著曹操率大隊人馬從地道裡鑽出來倉促北撤，所以當張繡的人馬殺過來時，正好與他們相遇。
追擊不成損失不小，張繡很後悔。誰知賈詡這時又過來，力勸張繡立即再追，張繡以為聽錯了：“當初沒聽您的話，結果打了敗仗，現在都這樣了，為什麼還要追？”賈詡分析說：“現在敵情出現了新變化，去追一定能取勝。”
張繡抱著將信將疑的想法派人追擊，這一次竟然打了勝仗。事後張繡請教賈詡勝敗的原因，賈詡說：“曹軍開始退卻，但曹操必然會派精兵斷後，我們追擊肯定失敗。打敗了我們的追擊，他們又會輕軍前進，沒有料到我們會再來，所以我們就能取勝。”張繡聽了，簡直佩服得要命。
曹操再征張繡，居然又遭失敗，在曹操的軍事生涯中，這還是絕無僅有的事。曹操回到許縣，對荀攸感慨地說：“沒有聽先生的話，才造成今天的結果呀！”言語之間，對一再敗於南陽郡十分後悔和無奈。
曹操從南陽郡回師，並沒有看到袁紹來襲。
這有兩種可能，一是袁紹壓根沒有這樣的打算，前面放出的風聲只是虛晃一槍；二是曹操的迅速回師讓袁紹失去了最佳進攻時間，所以放棄了奇襲許縣的計劃。但是連一個名不見經傳的張繡都打不過，曹操的心情很沮喪。更為要命的是，這種情況滋長了某些人的驕傲情緒，認為曹操不過如此，比如袁紹。
袁紹一直對曹操把獻帝接到許縣一事耿耿於懷，去年他曾給曹操寫過一封信，以許縣地理位置偏僻、地勢低濕為由，要求曹操把獻帝遷到兗州刺史部的鄄城，這裡雖然還屬於曹操的控制區，但距袁紹的控制區只隔一條黃河，袁紹的用心很明顯。曹操當然拒絕了袁紹的提議，這次南征回來，他又接到了袁紹的信，不僅舊事重提，而且流露出對曹操的不尊重。曹操看了大怒，以至於行為都有些失常。
當時大家不知道原因，還以為是因征討張繡失利造成的，所以都覺得著急，老朋友鍾繇就此事去問荀彧，荀彧說：“曹公是一個深謀遠慮的人，對於既往之事不會過於放在心上，現在必然是因為別的事。”
荀彧於是來見曹操，詢問緣由，曹操出示了袁紹的來信：“我真想討伐這個不義的人，但是力量不夠，你說該怎麼辦？”
針對曹操提出的問題，荀彧其實早有考慮，他說了一段很長的話，認為曹操在用人、度量、謀略、法令等方面都超過袁紹，袁紹再強大也沒有用。曹操不是一個愛聽奉承話的人，但荀彧所說的都不是虛言，荀彧在袁紹身邊待過，對袁紹的瞭解還是比較準確的，郭嘉後來也向曹操談了相似的看法，曹操心裡的陰雲散去了一大半。
落實到具體對策上荀彧和郭嘉的意見非常一致，他們都認為應當把南陽郡的事放一放，先取呂布。荀彧認為如果不先取呂布，那麼以後要解決袁紹相當困難。郭嘉認為袁紹正北擊公孫瓚，可以趁著他主力遠征時東取呂布。如果失去這個機會，等到袁紹發起進攻時以呂布為外援，那就太危險了。
曹操同意他們的看法，但心裡有一些顧慮：“我比較擔憂關中方面，如果關中處理不好，羌人、胡人加上南面的益州就會與袁紹、呂布等人聯合起來，到那時我們將四面都是敵人，雖然據有兗、豫二州，卻也頂多只佔天下的六分之一而已呀！”就此荀彧有自己的看法：“關中地區目前大的割據勢力有十幾支，彼此互相不服，其中韓遂和馬騰最強。他們看見關內相爭，必然各自擁兵自保。現在如果主動聯合他們，示以恩德，和平的局面雖然不能維持太久，但也可以堅持到整個關東地區平定之後。”荀彧的分析正切中要害，很有說服力，讓曹操心中頓時亮堂起來。
荀彧推薦鍾繇出鎮關中，曹操同意，於是辭去自己兼任的司隸校尉一職，讓鍾繇以侍中的身份兼任司隸校尉，持節督關中各軍，授予鍾繇遇到有些問題可以先處理再上報的權力。鍾繇不僅是個書法家，而且屬於實幹型人才，他有膽有識，沉著勇毅，他到達關中時，當時活躍在關中一帶的割據勢力除段煨、李傕外還有很多股，其中馬騰、韓遂的勢力最為強大，鍾繇給他們寫信，表明利害，勸他們忠於朝廷。經過對形勢的分析，馬騰、韓遂選擇了向許縣朝廷靠攏，他們各送一名兒子到許縣作為人質，以表明自己的忠心。