據《玄怪錄》載，張老是揚州六合人，經營菜園子為生，勤勞儉樸，小日子過得也算湊合。南朝梁武帝天監年間，揚州府衙幕僚、揚州六合人韋恕從任上返回故里，隱居清修。韋恕膝下只有一女，到了成婚的年紀，韋恕找來當地一位有名氣的媒婆，請她幫忙為女兒找個好人家。
張老聽到這個消息，眉開眼笑，專門守在韋府門外。媒婆出來後，張老一把拉住她，非要請她到家中喝酒。媒婆盛情難卻，只好從命。兩人來到張老的菜園，張老慇勤備至，早準備好了酒肉果蔬，媒婆也不客氣，坐下就胡吃海塞起來。酒至半酣，張老賠笑道：“聽說韋家要嫁女兒，我雖然老邁，但經營這菜園子多年，頗有家資，請您去跟韋大人說說，把他女兒嫁給我吧。”
聽到此話，媒婆差點兒沒把吃的東西吐出來，一拍桌子，罵他癩蛤蟆想吃天鵝肉。張老也不生氣，只憨憨一笑。
幾天後，張老再次找到媒婆，仍說非韋小姐不娶。媒婆無奈，看張老一臉誠懇，只得沒好氣地提醒他：“你這老頭子太自不量力了，哪有書香門第、官宦人家的千金小姐嫁給種菜的糟老頭子的？沒錯，韋大人清廉自守，家境不富裕，可你知道嗎，多少貴公子都排著隊求娶韋小姐呢！你別再自取其辱了。”張老說：“就求您跟韋大人說一下，要真不答應就算了，我絕不再為難你。”
媒婆畢竟吃了人家的酒席，沒辦法，只得答應為他傳句話。媒婆將此事告訴了韋恕，誰知話沒說完，韋恕已勃然大怒：“你這老太婆居然看不起我，我就是再窮也不能把女兒嫁給一個賣菜的老頭子！”媒婆嚇壞了，趕緊賠禮道歉：“都怪那個糟老頭子，非逼我傳話！”韋恕順口道：“他不是有錢嗎？你去告訴他，想娶我女兒除非拿500緡錢做聘禮，也不看看自己的德行！”
媒婆一聽樂了，這下好了，回去告訴那老頭兒，還不得把他嚇死。不料，張老聽到這個數字，居然滿口答應，不一會兒，就推著車子載著滿滿一車錢到了韋府。韋恕傻眼了，但一言既出駟馬難追，躊躇半天，只好硬著頭皮對女兒說明情況。沒料想，韋小姐也沒什麼怨言，很冷靜地答應了婚事。韋恕不禁驚呼難道這是天意！
張老就這麼娶了如花似玉的韋小姐，老夫少妻，誰見了都彆扭，但兩口子倒覺得沒什麼。張老依舊照料菜園子，施肥鋤草，剪枝澆水，收菜賣菜，忙得不亦樂乎。韋小姐在旁協助，毫無愧色。韋家親朋好友很厭惡他們，經常責怪韋恕：“大人清廉，可君子固窮，怎麼能紆尊降貴，把千金小姐嫁給一個老頭子？現在木已成舟，的確是沒辦法了，可你能不能讓他們兩口子走得遠遠的，你不嫌丟人，我們還嫌丟人啊！”
韋恕也是心煩意亂，於是準備了酒菜，請張老和女兒來吃飯。席間，韋恕微露其意。張老起身敬酒，道：“我夫妻二人一直沒離開這兒，就是擔心岳父大人疼愛小姐，不忍她遠行。現在既然您也有這想法，我們明天就離開，我在王屋山下有一處宅子，正好搬到那兒居住。岳父大人要是思念小姐，可讓大舅哥去天壇山南邊的張家莊找我們。”
第二天，張老攙扶妻子坐到驢上，給她壓低斗笠帽簷，自己拄著枴杖跟在後面，黯然離去。韋恕目送，心中很不是滋味。
此後數年，女兒、女婿音訊全無，韋恕哀歎不已，想著女兒命苦，嫁了個老頭子，還要搬到山裡住，不定如何蓬頭垢面，滿面煙塵呢。一日，韋恕實在放心不下，就派大兒子韋義方前去探望。
韋義方一路風餐露宿，終於來到天壇山南麓，遇見一個崑崙奴（從東南亞一帶來的僕役）駕黃牛在田地裡耕種。韋義方問附近有沒有叫張家莊的地方，崑崙奴好像認識韋義方，趕緊行禮，道：“大郎好久不見了，主人的莊子就在前面，我帶你去。”於是，崑崙奴放下手邊的活兒，帶著韋義方一路東行，翻過一座座山，進入一座豪宅。韋義方看到眼前的景象，不禁瞠目結舌，只見花木繁盛，雲蒸霞蔚，亭台樓閣樣樣俱全，鸞鳥孔雀飛翔其間。
韋義方來到中廳，見屋內陳設雅致，古色古香，門房小廝都穿著紅色衣服，衣飾鮮亮，態度謙恭。忽然，環珮叮噹，兩個青衣丫鬟出來迎接，笑道：“大郎，請隨我等前行！”韋義方緊隨其後，小心翼翼地走著，見迴廊兩側侍立著十幾個青衣丫鬟，都有傾國傾城之貌。不一會兒，一位器宇軒昂的青年男子出來，頭戴遠遊冠，身穿紫錦袍，足踏沖天履。韋義方仔細查看，吃了一驚，這人與張老眉目相仿，容貌偉岸，顯然張老已返老還童。
張老笑道：“人世間勞苦異常，於是我就和令妹隱居此地，躲避世俗煩惱。大哥稍等片刻，令妹在梳頭，一會兒就出來了。”韋義方支支吾吾，緊張得說不出話來。不一會兒，韋小姐娉婷而出，姿容又勝於前，服飾之盛，難以言表。兄妹二人寒暄片刻，韋義方這才放鬆了幾分。四處張望，見其大堂是沉香木做的大梁，玳瑁裝飾門框，碧玉做成窗戶，珍珠串做簾幕，台階平滑如鏡，都呈碧綠色。總之景象奢華，非人間所能有。
兄妹之間有天壤之別，寒暄幾句也就無話。不一會兒，酒宴準備好了，張老夫妻請韋義方入席。滿桌珍饈美味，不可名狀。酒足飯飽之後，丫鬟服侍韋義方到內廳歇息。
第二天一大早，張老就來跟韋義方聊天。片刻後，一個青衣丫鬟湊到張老耳邊嘀咕，張老聽後笑著對韋義方說：“我妹妹想去蓬萊山玩兒，令妹也要跟著去，恐怕晚上才能回來，大哥可在此休息。”說罷，張老離開。韋義方好奇，也就跟了出去。見庭院中忽然騰起五色祥雲，鸞鳳在空中飛舞，張老和韋小姐各乘一隻鳳凰，其餘的幾十人乘仙鶴，徐徐飛上半空，往東而行，漸漸消失在天際。韋義方羨慕不已，感慨萬千。
到了傍晚時分，張老和韋小姐已回來，連連道歉：“獨居在這兒很是寂寞，可是這神仙府邸，不是凡俗人久留之地，大哥命中注定有此福緣，但也不能在這兒待太久了，明天我們就得道別了。”韋義方很是遺憾，但也無可奈何。張老拿出20鎰黃金和一個舊斗笠，交給韋義方，道：“這些金子聊作盤纏，如果將來缺錢，可以拿著這個斗笠到揚州北門賣藥的王老家取1000萬貫錢，他見了斗笠，自然會給你的。”韋義方拜別，還由那個崑崙奴送出去。
韋義方滿載而歸，詳述見聞，一家人都沸騰了。親朋好友也很快知道了，羨慕嫉妒恨的人都有，有說張老是神仙的，有說是妖怪的，不一而足。韋恕一家也不以為意。五六年後，一家人坐吃山空，就想拿斗笠去揚州取錢，又擔心不靠譜。鄰居說：“沒有字據，就憑一個破斗笠就能取那麼多錢，真是笑話！”韋恕也不由點頭稱是。但後來，日子實在過不下去了，韋恕叫來韋義方，催著他去取錢。
韋義方夾著斗笠前去揚州，找到王家藥鋪，說了換錢的事，王老說得看看斗笠是真是假。這時，藥鋪的一個小姑娘道：“張老以前來過這兒，帽頂壞了，讓我縫，當時沒有黑線，我是用紅線縫的，我的手藝，一看便知。”小姑娘拿著斗笠仔細查看，說果然是真的，於是，令人用車滿載銅錢送到了韋家。韋家滿心歡喜，街坊鄰里這才相信張老是神仙。
後來，韋恕又思念女兒，再讓韋義方去天壇山尋訪。韋義方故地重遊，卻一點也記不清路徑，只見峰巒疊嶂，山水千萬，處處陌生。韋義方問山裡的樵夫，沒人聽說過什麼張家莊，韋義方只得悻悻而歸。韋恕明白，仙俗疏途，女兒當初並未以貌取人，這才進入仙界，而自己畢竟是凡夫俗子，能有如此女婿，已是萬幸。