蘇轍貶到筠州監酒稅，其實就是掌管官方酒務和鹽務。因為一些地方政府禁止民間私自釀酒販鹽，所以開設公營酒監榷場。這差事可不像聽起來那麼輕鬆，鹽酒由官方轉輸過來，得依靠車馬運回公倉。筠州地處偏僻，酒監沒多少人手，蘇轍只好跟女婿王適像民夫似的把一袋袋鹽、一罈罈酒卸下來。鹽酒收入得造冊登記，以備上級長官隨時查閱勘驗，所以事無鉅細，蘇轍都得親自做，每天忙得如同街鋪裡的掌櫃。
這一日清晨，天剛濛濛亮，蘇轍與王適已在搬運鹽酒了。蘇轍年紀大了，力氣不濟，搬一會兒就氣喘吁吁。王適忙攔著蘇轍說：「岳父歇會兒吧，我來搬。」說著就馱起一大袋鹽搬進屋去。蘇轍坐在一邊，喘著氣說：「這些年來，多虧賢婿在我身邊相助。老夫算了一筆賬，日運鹽酒兩千斤，五年下來，你我共運三百六十五萬斤。賬怕細算，若堆於面前，尤似一座山哪！五年背了一座山，再用這雙手把三百六十五萬斤一點點地賣給筠州的百姓，真了不起。」王適搬完最後一袋鹽，拍拍身上的塵土，憨厚地笑著說：「讀書人幹活十不頂一，可習慣了，同樣頂個壯勞力。就是一座山，也能搬走。」說完搓著長滿老繭的手又去搬酒罈子。
蘇轍也過來幫忙，笑著說：「所言甚合吾意。或許，命中就該背這樣一座山吧，所謂磨難，大抵如是。」王適擦著汗說：「好在這種日子快過去了，伯父內徙汝州，就是個信號。」
蘇轍點點頭，若有所思。他早已得信獲知哥哥要來，心中激動不已，但又不知哥哥他們到哪裡了。王適安慰他說：「伯父身遭大磨難，身處大逆境，但卻造就了大境界。伯父的『大江東去』一詞和《赤壁賦》，真是妙絕千古啊，讀著幹活也有勁兒了。」蘇轍自嘲道：「大手筆從大悲大歡、大磨大難中來。然而我卻銹住了，這座鹽山酒山壓得我喘不過氣來，還要和人計較秤高秤低，成了貨真價實的販夫走卒。」王適笑道：「愚公移山，最後靠感動神仙遂其夙願；岳父搬山，皆靠自己一雙手，山已去，道自出。岳父還是休息吧，伯父不知何時就要到了。這裡有我看著就行了。」蘇轍點點頭，跟酒監裡告了假，回家吩咐史雲準備飯菜，又到官道上去懸望等候。
終於盼到了！兩兄弟一見面就淚流滿面，有說不完的話。還是巢谷提醒著，蘇轍這才把蘇軾一家人請到他在筠州的住宅東軒之中。蘇轍剛到筠州時，洪水沖壞了酒監的官舍，蘇轍就向長官租了現在的住宅，修補了損壞的牆垣，周圍種上了樹木，在此安家，如同蘇軾在黃州親手修築雪堂一樣。史雲見了王閏之，好不親熱，拉著手說話，許久才想起倒把飯菜都忘了，忙叫女兒把酒菜擺上，一家人圍著說話。
蘇軾舉著酒杯動情地說：「子由，為兄就要北移汝州了，汝州離京城一步之遙；而你卻還要留在這江南偏遠之地！」蘇轍淡然一笑：「哥哥不必為我擔憂，只要聖上寬宥了你，小弟更無他望。」蘇軾接著說：「奉旨北徙汝州，依然是團練副使，依然是不得簽署公文，只是給了點活動自由。令人費解的是，此次詔書乃聖上親筆下詔。」
蘇轍很快就猜到了其中的情由，擔心地說：「哥哥，這正說明，聖上多次想重用你，但王珪、蔡確、張璪、李定一夥人從中作梗，聖上不得已而親手下詔。之所以尚未得重用，實是聖上怕王珪等人再次掀起波瀾。對了，朝廷還特意授邁兒德興縣尉之職，恐怕也有深意。」
蘇軾飲酒不語，他自然顧慮到朝中奸邪從中作梗，但王命難違，要不然倒真願意歸老田園，不再去過問世事紛爭了。蘇轍勸酒道：「小弟以為，朝中小人固然可氣可恨，然與兄長過去恃才傲物、口無遮攔、罪及他人也有關係。還望兄長自此慎言慎行，免得禍從口出。」
蘇軾聽了這話，十分不悅，說：「逢小人不行君子之禮，遇大惡不棄人子之責。讓我充耳不聞，聽之任之，實在做不到。如果這樣，我做了宰相又有何用。」蘇轍見哥哥的率直性格還是沒變，又勸道：「哥哥，你若做宰相，是為國為民，怎會沒用呢？君子秉承陽剛之道，也應該知道韜晦之計。江河委婉而進，山有谷而存，像哥哥這般剛直不彎，一定還會吃大虧。」
史雲和王閏之見兩兄弟爭論起來，也不便過來勸解，悄悄地拉著子侄們到裡屋去了。蘇軾聽了蘇轍的話，心中梗塞未開，負氣地說：「大丈夫生於天地間，怎麼能如此俗氣！」
蘇轍也有些激動，大聲說：「哥哥在黃州五年，原來還是這麼天真！」
蘇軾說：「子由，不是我天真，是你太過世故了！」
蘇轍說：「君子聞過則喜，哥哥不納忠言，一味固執，實可悲矣。」
蘇軾發怒道：「子由，你既這麼說，從此，我誓為啞巴！」
蘇轍苦口婆心地勸道：「哥，你聽我一句好不好？這個世上，也就是為弟願為你盡句忠言。」
蘇軾手指著緊閉的嘴巴，啞然不語。蘇轍也氣急了，無奈地飲了一口酒。巢谷進來見兩兄弟各自賭氣，正奇怪呢，剛才還和和氣氣地喝酒，怎麼一轉眼就吵架了？史雲忙過來拉著巢谷到裡屋。蘇轍又喝了一杯酒，輕聲說：「小弟在酒監裡還有公務，哥哥你早些歇著吧。」說完頭也不回地出去了。
蘇軾覺得很氣惱，本來很好的心緒被弄得極壞。他素來脾氣急，遇事不折，而子由性子溫和，處事要沉穩一些。他知道子由是為自己著想的，但他覺得自己應該堅持的原則說什麼也不能改變，若事事忍讓韜晦，在黃州的歷練豈不是白費了？蘇軾想到這裡，愈覺悶悶不樂，一口氣把大半壺酒都喝下去了。
由於蘇邁的任期在即，蘇軾一家只能在筠州逗留幾日，就要離去。臨走之時。蘇轍因為酒監裡公務繁忙，不能來相送。蘇軾歎了口氣，憂傷地對巢谷說：「那一場爭吵，是我們兄弟二人平生以來的第一次。都怪我，我不該說子由世故，子由被貶官，都是受我的牽連。」巢谷說：「子瞻兄，子由是為你好，才說那些話。」蘇軾痛心地說：「我怎會不知道他是為我好呢？正因如此，我才尤為愧疚。」巢谷安慰道：「子瞻兄不必愧疚，我想子由不會怪你的。」蘇軾這才稍稍寬慰些。
到了洪州，蘇邁要東去德興上任，一家人在江邊為他送行。王閏之捨不得他離開，哭得跟淚人似的，兩個弟弟也含淚相送。蘇軾一邊勸慰他們，一邊準備登船回九江。
船剛開到江中，忽然蘇轍、史雲和王適風塵僕僕地趕到碼頭。蘇轍朝著江中大喊：「哥哥，弟弟來送你了，要保重啊！」蘇軾激動不已，揮淚喊道：「子由，保重！你放心！我會記住你的話！」
這樣，兩兄弟又再次分別，隔著江水遙遙揮手，直到再也看不見對方。
蘇軾回到九江，跟陳慥等人灑淚分別，一路揚帆順流，直往江寧而去。
船就快到江寧了。蘇軾站在船頭，遠遠眺望，任江風把衣襟吹得飄動。巢谷過來說：「子瞻兄，聽說王安石罷相後就住在江寧……」蘇軾知道巢谷要說什麼，笑著說：「是啊，我與介甫公也很久沒有見面了，這回路過江寧，一定要去拜訪他。」
巢谷說：「王相國現在被封為荊國公，天下人都知道子瞻兄與他不合，為什麼還要去拜訪他呢？」蘇軾擺擺手說：「世人囿於成見，以為我們政見不合就勢同水火，其實這是外人的看法。荊公可以說是我的良師益友。當初我們惺惺相惜，引以為知己，如今發生這麼多事，我們仍然是好朋友。」巢谷點點頭。
王安石自罷相之後，隱居於江寧半山園，每日騎著驢子走在鄉野小徑上，遇著農人便和氣地與他們打招呼，沒有人知道他就是主持國家變法的宰相。如今往事已如雲煙過眼，不必重提。他也覺得自己一天天衰老下去，便常到佛寺中去聽經說禪，漸漸心中的波瀾也平息了。呂惠卿主持新法，每每歪曲王安石的本意。王安石想起他對自己的背叛，有時不免怒形於色，但很快就平靜下來，如今已無法再說什麼了。金陵自古是帝王都，歷史遺跡無數，隨手折一枝楊柳，也能翻檢出六朝的盛衰興亡。王安石就這樣每日默默遊走在歷史與現實之間，把平淡的心情和悠遠的沉思都寫進小詩裡。
這日他騎著小驢，悠悠來到碼頭，看著江船來往爭利，青山亙古常青，吟道：
「自古帝王州，鬱鬱蔥蔥佳氣浮。四百年來成一夢，堪愁。晉代衣冠成古丘。
繞水恣行遊，上盡層樓更上樓。往事悠悠君莫問，回頭。檻外長江空自流。」
正在這時，蘇軾一襲便衣，從艙中跳到岸上，拱手施禮道：「黃州農夫蘇軾今日特來拜會大丞相！」王安石喜出望外，趕忙回禮說：「哎呀，終於把子瞻給盼來了。」一面抓著蘇軾的臂膀上下打量：「老了，當年的青年才俊如今也老了呀！」蘇軾笑道：「荊公也不似當年了！聽說不久前荊公染疾，不知道好些了嗎？」王安石笑說：「偶有眼疾，時下已痊癒了。歲月相摧，焉得不老，只是子瞻，讓你受苦了。不久前誤聽子瞻仙逝，可讓老夫心痛了。」蘇軾說：「蘇某一介農夫，不過耕田種地有筋骨之勞罷了。荊公憂勞國事，才是真苦。然而除了功名利祿，甜酸苦辣鹹都是與生俱來的，且揮之不去，奈何奈何！」
王安石指著蘇軾大笑：「子瞻就是子瞻哪！老脾氣還是一點沒變。與聰明人談話，總會有妙策應對。」蘇軾自嘲地說：「聰明反被聰明誤，苦辣酸甜自古多。莫道烏颱風雨過，寫詩怕想蘇東坡。」王安石開玩笑說：「汴京有個舉人，因酷愛子瞻之詩，晝夜研讀，冷落了妻子，結果被妻子休了。」蘇軾哭笑不得：「竟有這等事？那他應該娶一個像閏之一樣的人來做妻子。」王安石大笑，蘇軾忙將家眷引出來與王安石相見。王安石拉著驢子，盛情邀請蘇軾一家到半山園歇腳洗塵，蘇軾也不推辭，跟著往半山而來。
吳夫人拉著王閏之坐在裡屋說話，見蘇迨、蘇過兩個長得俊秀伶俐，不禁想起自己早亡的兒子王雱來，心中傷感。王閏之看出吳夫人的心中之痛，安慰道：「夫人不必為此傷懷。人有悲歡，月有圓缺，此事自古難全呀。」吳夫人於是說起自己常唱蘇子瞻的《水調歌頭》來排遣憂鬱，王閏之淡然一笑。吳夫人拉著王閏之到庭院中賞花談心，蘇軾和王安石則邊走邊聊，往半山的小徑上走去。
歷史就是這麼奇怪和充滿偶然性。北宋後期政壇和文壇的兩個最重要的人物，在經歷政治風波和個人磨難後，竟又重逢了。一個是罷相，一個是罪臣，重逢時卻語及平生，親如知己。他們談舊事、論時政，涉及新法和個人恩怨也直言不諱，有時開起玩笑互相譏諷，或是放縱聰明互相比試，最後都大笑釋之。他們心中裝著社稷蒼生，言語碰撞的卻是生命智慧。
半山上雜花滿樹，一片絢麗。已風霜滿面、歷盡滄桑的兩人在花下漫步，似乎重新煥發了少年精神。王安石說起了「烏台詩案」——這件本朝以來最大的文字冤獄。當年，蘇軾還在杭州通判任上時，到兩浙巡察災情的沈括向蘇軾索要詩集，蘇軾想都沒想就給了他。沈括回京後，摘抄詩中言語，除夕夜就寫好彈劾蘇軾的奏章。時任宰相的王安石當即把奏章扣下了。後來天下大旱，華山崩裂，王安石自請離開相位，掛職江寧，沈括又上了第二本奏章，直接送到皇上手裡。神宗當時一心懸於天災人禍，對他的奏章並未在意，要不然，「烏台詩案」恐怕要早幾年發生了。
蘇軾心中深感意外，對王安石秉公無私之舉十分感激，這才是君子的境界，與那些小人行徑有天壤之別。
王安石又講到變法，這樁他付諸畢生心血的宏圖偉業，已使天下發生了很多變化，他很想知道曾經作為反對派的蘇軾的看法。蘇軾拱手直言道：「荊公勇於任事，體恤顯隱，銳意興革，足可道哉。然而，小人追隨王公，卻以變法謀私，荊公搭台，小人唱戲，公做了冤大頭，我做了階下囚，天下百姓就可想而知了。」
王安石點頭稱許。他是不拘小節之人，自然不會介意蘇軾直言。倘若蘇軾心有顧慮，言有虛飾，那他也不是蘇軾了。王安石深知變法艱難，朝廷頒令與地方施行，總會有實踐過程中的偏差。加上人事任用，小人作祟，常常難以達到預期的效果，要不然他也不會兩次罷相，對變法遙遙觀望而無能為力了。他又問：「這次變法，功過如何？」蘇軾答道：「問心無愧即可，莫論功過。」
王安石想起當日在朝堂上與蘇軾爭辯變法，言猶在耳。蘇軾強調變法須徐行徐立，急則易蹶，現在看來，是被他言中了。王安石感歎道：「老夫豈不知要取徐立徐行之策啊，此事，老夫也有難言之隱哪。聖上急欲建功立業，不是老夫能左右的，包括用人，皆由聖上說了算。有功皆歸人主，有過皆因安石，老夫不下地獄，誰下地獄？不過，也有例外，比如子瞻你，對聖上有微詞，便直言奏明。誰是誰非，概不掩飾。所以，呂惠卿他們見我對你屢屢遷就，大惑不解，可天下誰又能理解君子之交呢？」
蘇軾憂慮地說：「荊公啊，此次變法，成則為大宋之幸；反之，大宋命運就不敢說了。」王安石驚訝地問：「子瞻此言有弦外之音啊！」蘇軾直言道：「成則大宋興，不成則動搖國本。何以如此呢？貶人太多，奸臣弄權者太多，誰也不能保證熙豐之法將成為幾十年的不變之法。一旦有個反覆，則黨爭日熾，一旦如此，我大宋危矣！」
王安石聽罷，垂首不語。他何嘗不願新法長久施行下去呢？只是人事難為，天命難測，世事大概便是如此了吧。蘇軾又說：「荊公是君子，行大道，為國事，對這小人之爭，未曾在意，可往往千里之堤就潰於蟻穴。好比這《青苗法》，運行得當，也是百姓的幸事，到最後卻成了小人邀功晉陞的台階，所以百姓怨聲載道啊。」
王安石想起自己用人之失，痛心疾首，見蘇軾公正直言，不由得心中佩服，感歎道：「都怪我剛愎自用，不聽子瞻之忠告。」蘇軾安慰道：「荊公不必自責，不歷後事，哪知前事之失啊，如此也好為後來變法者留前車之鑒。」
王安石自嘲說：「只怕老夫從此要成為天下話柄了。有些人會拿禍國殃民的帽子扣在老夫頭上。」蘇軾說：「功過自有後人評說，然荊公真君子，足以千古流芳啊。」王安石大笑：「剛直敢言如子瞻也會恭維人了。」蘇軾淡然一笑：「蘇某說真心話，荊公心中瞭然。」
兩人繼續往上走，一路綠蔭遍地，鳥聲悠然。王安石問：「你說這下坡路好走呢還是上坡路好走呢？」蘇軾答道：「上山容易下山難是俗人的看法。依我看來，上山費力，下山費神，只要能上能下，能走能動，就不難。真正難的是既不能下也不能上。」
聽聰明人的談話總是令人愜意，像這樣隨意簡單的談話，兩位智者卻能講出別樣的道理來。王安石明白蘇軾所指的是新法的實施，如今既難裨補國政，又無法完全適用民生，正處在上下兩難的境地。只是自己告老隱居，置身事外，新法已交給後來的新黨人物主持，他再也無力插手，笑說：「正所謂人老步步難哪！」說著，拄杖邁動著老腿。
蘇軾過來扶了一把，慢慢陪他走上一級級石階，說：「人一生下來，面臨的第一件事是學會走路，到老來，走不動了，面臨的第一件大事還是走路。人生始終在走路啊。」王安石針鋒相對地反問：「然則，人生有一半睡於床上，不知有道路乎？」蘇軾笑著說：「守財者夢遊於被追殺，求仕者夢遊於趕考之路，風流者夢遊於追歡逐笑，農人夢遊於田間地頭，商人夢失於道路，豈非無路可走乎？」王安石進一步說：「未夢者則不游。」蘇軾詼諧地說：「未夢者稱為睡死，又稱小死，死者焉能游乎？」王安石大笑。
蘇軾是出了名的機智詼諧，遇著王安石更是當仁不讓。他笑說：「荊公啊，我聽說你正著《字說》一書？」王安石興致勃勃地說：「是啊，老夫研究漢字，頗覺有趣，比如這『波』字，乃水之皮也。」
蘇軾馬上反唇相譏：「如此說來，『滑』者，豈非水之骨也？」
玩笑總是機智敏捷，但絕不帶半點惡意。王安石是心中通脫之人，自然也不會計較。他有點尷尬地說：「你休譏笑，也並非沒有道理。只是這斑鳩的鳩字，何以旁數為九呢？」蘇軾馬上回答說：「荊公不記得《詩經》上說，『鳲鳩在桑，其子七兮』？」王安石皺眉不解：「即使這樣也只有七隻，何來九呢？」蘇軾笑著說：「加上它爹它娘，正好是九了。」王安石哈哈大笑：「好個子瞻，原來你在譏諷老夫！」蘇軾忙說：「豈敢豈敢。以竹鞭馬是為篤，以竹鞭犬，不知有何可笑？」兩人會心大笑。
兩人繼續拾級而上，來到半山上一處荒廢的宅院前。王安石見舊屋向東傾斜，戲言道：「子瞻，老夫出個上聯。牆歪上東坡。」
蘇軾看著屋下突兀的岩石，對道：「屋斜下安石。」
王安石興致來了，大悅道：「對得妙！牆歪上東坡，坡上鳥自多。」
蘇軾脫口而出：「屋斜下安石，石下蟲不直。」
王安石大笑不已，又出一聯：「半山非半山，一山飛峙大江邊。」
蘇軾立即說：「滿月不滿月，缺月高懸銀河畔。沒有絕聯，你難不住我。」
蘇軾自信滿滿，斗文鬥智最能令他心神愉悅，更何況遇著王安石呢？王安石笑著說：「子瞻果然才思敏捷。你且出個對子難住老夫吧！」蘇軾說：「我有一副絕對，得之於西湖之上，至今未能對上。攜錫壺，游西湖，錫壺掉進西湖裡，惜乎錫壺。」
王安石沉吟半晌，頓時犯了難：「此聯乃絕聯，老夫對不上，恐怕後人也對不上。」蘇軾見王安石雄心未減，大笑讚歎。
兩人來到半山佛堂，堂上匾額題曰「保寧禪院」。原來王安石退居江寧後，曾大病一場，病癒後舍宅為寺，潛心學佛，神宗得知，親書題匾賜予王安石，算作優禮相待。可是對於一個信佛的人來說，這些厚賜又有什麼用呢！王安石問蘇軾：「子瞻信佛嗎？」蘇軾笑道：「信，又不信。我給荊公講則故事。有一座廟，香火不旺了。這天來了個漢子，推倒神像，將神座料石扛走，回家砌了豬圈。第二個漢子燒香來了，見此甚為驚慌，搬來自己家中的料石，扶神歸位。小神對大神說，第一個漢子應該嚴懲，第二個漢子應該給他好處。大神說，你錯了，第一個漢子不信神，我又怎能奈何於他呢？」
宋代讀書人大多學佛參禪，這是時代風氣。但學佛又不離棄世俗，這是講究精緻生活的宋人對學佛的巧妙轉化。蘇軾是積極學佛的。在黃州時，他就常常到佛寺去聽經念佛，排解現實的苦悶，最終以自己的智慧為主，以佛禪為輔，掙脫出來。他曾跟友人說，自己學佛好比吃豬肉，不但味美，還能飽肚，不像有些人，空學禪義，如吃龍肉，純粹是詐唬人。蘇軾對王安石說：「對於少數人來說，佛是一種哲境；對於多數人而言，佛是一種安慰。有大安慰，小安慰。大安慰是悟自然之道，小安慰就只能滿足一時之需。」
王安石不同意他的說法，反駁道：「你所說的自然之道乃道家之言，非佛家之語。」蘇軾說：「佛家的四大皆空，並非真空。開大法眼，三教殊途同歸，皆為道也。」王安石大喜，欣喜地說：「子瞻，你何不來江寧買一宅院，與我同住，我二人天天談玄論道，豈不妙哉？」蘇軾拱手笑道：「能與荊公同住，是求不來的福氣，只怕身不由己，事與願違啊。」