熙寧四年（1071年）七月，蘇東坡攜眷離京往富有湖山之美的杭州上任。在隨後八九年內，他始終在杭州、青島附近的密州以及江蘇的蘇州為官，無不政績斐然。這一段期間，他作詩甚多，所寫的歌很美，或感傷，或詼諧，或憤怒。以天真快活的心情，幾乎赤子般的狂放不羈，將心中之所感，盡情歌唱出來。可是這樣憂慮憤怒的詩歌觸怒了權要，終於給他招惹了災禍。
他弟弟子由這時在陳州（淮陽）充任教授，淡泊自甘。陳州位於國都東南七八十里，正在蘇東坡治下的視察行程之中，他隨後幾年都常常利用機會到弟弟家盤桓小住，有時會住上七十幾天。蘇東坡的兒子已經十二歲，還有一個嬰兒，才一歲，但是他弟弟則兒女很多。沉默寡言的蘇子由，一聲不響只顧生兒育女——最後直到生了三個兒子，七個女兒，都是蘇東坡幫助婚配的。蘇東坡欣然接受弟弟的請求，與他們共度中秋後才走。子由很窮，住的房子又小又矮。東坡常常對弟弟的高大取笑，他寫了兩句：
常時低頭誦經史，
忽然欠伸屋打頭。
他們的老朋友，那位退隱的國家元老張方平也和他們在一個城裡住，大家常酒飯相聚。張方平飲酒甚豪，他的酒量是一百杯。據蘇東坡自己說，他自己的酒量則小得多，但是他說他並不以自己酒量小而戒酒。歐陽修也是海量，但是張方平卻勝過他，因為張方平開始喝酒時，他不向客人說他們要喝多少杯，而是多少天。蘇東坡說：「對你們海量的人我並不羨慕。我喝完一杯就醉，不是和你們一樣得其所哉嗎？」
那幾個月，兄弟二人和家人悠閒團聚，共度時光，兄弟二人常到柳湖去划船，或是在城郊漫步，談論政治、家事、前途。一天，二人正在討論國家情勢，子由向哥哥進了些忠言。蘇東坡的一個短處就是老向客人談論自己的心思，寫文章也是發揮自己的見解。當時不是什麼好年月，子由對哥哥太瞭解。後來，蘇東坡的監禁解除之後，子由把手摀住他的嘴，那是告訴他以後要三緘其口。
兄弟二人，氣質不同，形貌各異。子由高大，豐滿的圓臉，兩頰附近的松肉很多，而東坡則健壯結實，骨肉勻停。由他的畫像，我們不難判斷，他大概是五尺七八寸身高，臉大、顴骨高、前額高大，眼睛很長而閃閃發光，下巴端正，鬍鬚長而末端尖細。最能透露他特性的，就是他那敏感活動、強而有力的嘴唇。他的臉色紅潤，熱情洋溢，會由歡天喜地的表情一變而成抑鬱沉思的幻想狀。
蘇東坡對他弟弟說：「我知道我一向出言不慎。我一發現什麼事情不對，就像在飯菜裡找到個蒼蠅一樣，非要唾棄不可。」
弟弟說：「但是你要瞭解你說話的對方，有人你可以推心置腹，有的不可以。」
蘇東坡點頭說：「這就是我之所短。也許我生來就太相信人，不管我是跟誰說話，我都是暢所欲言。」
他告訴弟弟，他送出上神宗皇帝書之後，他真怕有生命之險。他有一個朋友，也為他擔心。那個朋友是晁端彥，正好去看他，晁端彥和他同科考中，正如今之同年畢業的同學一樣。
東坡說：「但是我告訴晁端彥說，我曾殿試高中，多少高官顯宦立刻把我看做朋友。皇帝已然接受我的忠言。我不坦誠進諫，捨我其誰？我告訴晁端彥，我真正怕的是會因此而被殺害。他一言不發，面色極其嚴肅。於是我又對他說：『沒關係，皇帝若想殺我，我死而無怨。但有一件，我不願一身就戮而使你拍手稱快。』我二人都大笑起來。」
子由說：「有一件事你知道嗎？你留意過沒有？一日空閒長似兩日。所以人若一生七十年都在空閒中過，他實際上等於活了一百四十年。這是求長壽最容易的辦法。」
兄弟二人在政治上雖然看法相似，而且也立場相同，二人個性則迥然相異。子由沉穩、實際、拘謹、寡言；而東坡則輕快、開闊、好辯、天真、不顧後果。在朋友同僚的心目中，子由為人可靠，而東坡之直言無隱，玩笑戲謔，則使人害怕。在親密朋友之間，東坡談笑風生夾雜驚人的雙關語。天下拘謹實際的人聽他說話，都覺得他隨時可以吐露真理，彷彿不論何事，只要是真，便值得說出口來，此外不知還有什麼禁忌！
在文學風格上也有一種差異——就猶如亨利‧詹姆斯（Henry James ）和威廉‧詹姆斯（William James）。東坡像威廉，子由像亨利。由各自的才氣上看，威廉原應當寫小說，而亨利應當寫心理與哲學性的論文。可是威廉‧詹姆斯卻把他的才華和詼諧注入了通常枯燥無味的心理學和哲學教科書，而亨利‧詹姆斯則在小說的天地中注入了他人性的思想和觀察這樣充實的內容，這對世界的文化反倒有益而無損。子由沒有哥哥才氣的一半，但是他的文章內容充實，具有深度，使他在這一類文章之內，足稱大家。
蘇東坡知道弟弟的忠言大有道理，倘若他的氣質像子由那樣恬淡沉靜，他必然會樂於接受的。但是問題不是他如何想，而是他如何感，不是理性的問題，而是感性的問題。我們論到蘇東坡，我們就不能避免「氣」這個字。因為每個文學批評家一綜括蘇東坡的個性，必用孟子所說的這個「氣」字。「氣」本是普通字，是空氣，是氣體，是大氣，是精神，是力量，是運動，是悶在心裡的惱怒。在《孟子》裡，「氣」是哲學的概念，類似柏格森所說的「生氣勃勃」，是人格上的「元氣」。使偉人和匹夫顯然不同的，往往是精力元氣上的差異。在孟子的哲學上，「氣」是偉大的道德動力，更簡單說，就是人求善、求正義的高貴精神，這種精神人人皆有，是與生俱來的。人在世界上生活下去，這個「氣」可因得其陶冶營養而增長強大，亦可因消減而衰弱。以蘇東坡的情況而言，其意義正同於偉大的精神，一個人高昇到無極限的精神，至大至剛，激烈衝動，因其本身充沛的元力必要發之於外而不可抑制。佩服蘇東坡的人和批評蘇東坡的人，就常說到他這種至大至剛之氣。孟子在自己本身覺察到有此力量，這種力量若輔以正義真理，便在天地之間無所畏懼。
孟子的一個弟子問：「敢問何謂浩然之氣？」
孟子回答道：「難言也。其為氣也，至大至剛，以直養而無害，則塞於天地之間。其為氣也，配道與義，無是餒也。有不慊於心，則餒矣。」
蘇東坡既然天賦這樣生氣蓬勃的精神，他自然常遭遇到道德的矛盾，一方面要保持英雄本色，不失其與生俱來的大無畏精神，另一面又要顧到同樣重要的明哲保身這一人生的本分。在蘇東坡一生的官宦生涯中，有某些時期此種衝突特別尖銳，往往他寧願保持他的英雄本色。所以他內心中的衝突總不會太大的。他那偉大的天才不斷自由流露而一發不可抑制。正是：
猿吟鶴唳本無意，
不知下有行人行。
蘇東坡與其弟弟子由及家人共度中秋。這次中秋值得記憶，他後來一直思念不置。也是隨後六年中唯一的一次中秋，臨別時，二人難分難捨，子由決定送兄長至穎河下游八十里外的穎州（今阜陽），到穎州在歐陽修相伴之下，又一同過了半個多月，但是終須分手。在蘇東坡開船出發的前夜，兄弟二人又在穎州河的船上共度一夜，吟詩論政，徹夜未眠。二人論政的結論，後來蘇東坡寫在一首詩裡，到達杭州之後，寄給子由。其中有句為：
眼看時事力難任，
貪戀君恩退未能。
兄弟二人不覺都想起了孟子的話：「責難於君謂之恭，陳善閉邪謂之敬，吾君不能謂之賊。」事實上，二人都明白下面這段話的真理：
徒善不足以為政，徒法不能以自行……為高必因丘陵，為下必因川澤。為政，不因先王之道，可謂智乎？是以唯仁者宜在高位；不仁而在高位，是播其惡於眾也。上無道揆也，下無法守也，朝不信道，工不信度，君子犯義，小人犯刑，國之所存者幸也。故曰城郭不完，兵甲不多，非國之災也；田野不辟，貨財不聚，非國之害也。上無禮，下無義，賊民興，喪無日矣。
那天夜裡，蘇東坡寫了兩首詩，足以顯示他的心境！
征帆掛西風，別淚滴清穎。
留連知無益，借此須臾景。
我生三度別，此別尤酸冷。
念子似元君，木訥剛且靜。
寡詞真吉人，介石乃機警。
至今天下士，去莫如子猛。
嗟我久病狂，意行無坎井。
有如醉且墜，幸未傷輒醒。
第二首詩是：
近別不改容，遠別涕沾胸。
咫尺不相見，實與千里同。
人生無離別，誰知恩愛重。
始我來宛丘，牽衣舞兒童。
便知有此恨，留我過秋風。
秋風亦已過，別恨終無窮。
問我何年歸，我言歲在東。
離合既循環，憂喜迭相攻。
悟此長太息，我生如飛蓬。
多憂發早白，不見六一翁。
「六一翁」指的是六一居士歐陽修。「飛蓬」一詞正足以象徵蘇東坡的一生，因為從現在起，他就成為政治風暴中的海燕，直到他去世，就不會再在一個地方安安靜靜度過三年以上的時光。
次日凌晨，兄弟二人分手。蘇東坡對子由的深情確是非比尋常，後來，在寫給他好友李常的一首詩中說：「嗟余寡兄弟，四海一子由。」杭州三年任期屆滿時，他請調至密州，因為當時子由正任職濟南，兩地都在山東，相距不遠。