都是三國名將，張飛很不待見呂布。三國裡多次有這樣的記載：虎牢關前，公孫瓚揮槊親戰呂布。戰不數合，瓚敗走。呂布縱赤兔馬趕來。那馬日行千里，飛走如風。看看趕上，布舉畫戟望瓚後心便刺。傍邊一將，圓睜環眼，倒豎虎鬚，挺丈八蛇矛，飛馬大叫：「三姓家奴休走！燕人張飛在此！」;後來呂布投奔徐州劉備，回席請玄德，玄德乃與關、張同往。飲酒至半酣，布請玄德入後堂，關、張隨入。布令妻女出拜玄德。玄德再三謙讓。布曰：「賢弟不必推讓。」張飛聽了，瞋目大叱曰：「我哥哥是金枝玉葉，你是何等人，敢稱我哥哥為賢弟！你來！我和你斗三百合！」
那麼張飛為什麼看不起呂布，要知道呂布也是當時第一流的虎將，號稱「人中呂布，馬中赤兔」。
其一，呂布雖然世之虎將，人品卻不怎麼樣，見利忘義，一點小恩小惠就能收買，這讓性格耿直的張飛非常反感。張飛嫉惡如仇，自然看不慣翻雲覆雨的小人，不管呂布的武藝多高強，在張飛眼裡，就是小人一個。
其二，想和呂布單挑，對於張飛來說，渴望和呂布動武。呂布是天下名將，戰勝呂布就能一雪前恥，當年虎牢關三英戰呂布，可見呂布的確厲害。張飛武藝高強，號稱萬人敵，貌似世界上除了劉備和關羽，張飛不服任何人，所以他無法面對自己打不過呂布的事實，多次激怒呂布，除了鄙視呂布為人以外，更多包含激呂布和自己再打一場，把丟失的顏面找回來，仔細看書就明白了，更多的時候張飛並不是辱罵呂布，而且極力攛掇著呂布和自己打架，而且自己積極挑逗。
其三，下棋找高手，弄斧到班門。誰都知道人中呂布馬中赤兔名揚天下，和這樣的人交手即使失敗，也不是什麼丟人的事情，至於勝利，更是光榮。
其四，呂布做人不靠譜，跟著誰誰倒霉。你看荊州刺史丁原，太師董卓，在呂布眼裡，以前都當老子對待，一旦別人給自己好處，呂布就反水。小說中寫道：是夜二更時分，布提刀徑入丁原帳中。原正秉燭觀書，見布至，曰：「吾兒來有何事故？」布曰：「吾堂堂丈夫，安肯為汝子乎！」原曰：「奉先何故心變？」布向前，一刀砍下丁原首級，大呼左右：「丁原不仁，吾已殺之。肯從吾者在此，不從者自去！」軍士散其大半。
張飛是個真漢子，性情直率，別說呂布如此，就是位高權重的董卓，昔日劉關張只是一個平頭百姓，看到董卓有難。拚命去救，聽到董卓看不起自己，也是火冒三丈：「我等親赴血戰，救了這廝，他卻如此無禮。若不殺之，難消我氣！」便要提刀入帳來殺董卓。正是：人情勢利古猶今，誰識英雄是白身？安得快人如翼德，盡誅世上負心人！
對待呂布，同樣是桃園弟兄，三人不盡相同，劉備雖然也討厭呂布，但有時拉有時打，主要目的是為了自己的利益。剛開始呂布孤窮來投，劉備覺得憑借自己的實力，無法與曹操作戰，就讓呂布做了自己的幫手。駐兵小沛，呂布襲取徐州，劉備雖然恨之入骨，可表面上仍不露聲色，甚至自己駐紮小沛，幫助呂布守住門戶。這些呂布看在眼裡，居然轅門射戟，幫助劉備解了燃眉之急。當然劉備也沒忘記呂布的好處，最後白門樓一句話就葬送了呂布的性命。可見和張飛不同，張飛只是熱衷於打鬥，劉備看重的是這個人有沒有利用價值，從這一點上，劉備是帶頭大哥，而張飛不過是馬仔，至於呂布無論如何都是別人的棋子，不過他曾經非常牛氣沖天