明末清初年間，有個名叫五十震的小縣。話說此縣有一傳言：居於天脊之上，食與天發之間。不安，則天怒，皺一眉，五十載。此縣有一山喚作“香山”，呂林崇這個窮酸秀才就居住此山的南邊角下，僅有一牆之隔的是縣裡的一個廟宇，名叫“南香寺”。
呂林崇早年中了個秀才，後屢屢名落孫山，父親臨終囑咐一定要守住這個房子，就撒手歸了西。母親王氏是個信佛之人，成日裡吃齋念佛，呂秀才很是孝順，忙完家裡活才讀書，日子清苦，倒還過得下去。
一日，夜深人靜，呂秀才還在持筆做詩，忽傳來“吱，吱”聲響，呂秀才一驚，放下筆來，側耳細聽時，那聲響卻沒再響起。沒等多久，那聲音又傳來，秀才仔細聽，是牆角傳來的，走過去聽，又沒了那聲響，想估計是那老鼠在啃吃木頭，於是不再理會。一連幾日半夜都能聽到幾次那聲響，呂秀才多次起身想找出原因，卻都不了了之。
這日，呂秀才一早去了寺廟。只因今日是月半十五，呂秀才和廟裡主持相約一同品茗洽談。茶席之間，老方丈說起了前幾日夜裡寺廟半夜老鼠亂穿的怪事。呂秀才想起半個月來半夜聽到的聲音，得知寺廟老鼠事件，想來是一牆之隔，難免聽得到，倒也放心了。
幾個月過後，家裡油鹽殆盡，秀才不忍母親挨餓，上街賣字畫維持家用。但生意冷淡，幾日賣不了一幅字，偶爾有人家請他寫對聯，一副對聯只不過一文錢，街頭的包子還得三文錢一個。一日夜裡，呂秀才背著字畫回來，今日只寫了三副對聯，再加上前段時間攢的幾文錢，湊在一起交給了母親。母親叫他早些歇息，這幾日縣裡的河水漲的快，半夜有什麼響動醒來勤快點。呂秀才點頭答應，托著疲倦的身子，喝了點湯水便回房去了。
當晚夜裡，秀才又聽見那聲響，因實在睏倦，沒再起床。誰知那聲音越來越響，忽一聲巨響，把呂秀才嚇得滾下了床，起身披了件薄衫開門去查看動靜，但周圍寂靜，什麼聲音也沒有。只好又返回了房內，欲想上床睡覺，只見床旁的牆閃出一道亮光，呂秀才以為眼花，揉了揉眼，亮光還在，像是從牆底發出來的光。他有些害怕，朝那亮光走去，只見在牆角一處的地面已經塌陷，露出一條通向地底的樓梯，裡面光亮通明。
呂秀才小心翼翼順著樓梯走下去，越走越感覺涼涼的，像是有一股涼風從腳底吹來。樓梯越往下就越大，周圍的石壁相隔也漸漸變寬。待下到樓梯盡頭，他發現，此處別有洞天，洞內石頭奇形怪狀，相互連接，整個地洞面積姑且有幾畝大小，在一座奇石旁有口一方大的池塘，池內水清澈透明，池底有個眼口，時不時向上冒出蘑菇狀的水泡。他繼續向前走，就在一大塊怪石的轉彎處，忽見地上金光閃閃，刺得他忙躲到石頭後面。然後通過石頭孔朝那光亮看去，頓時嚇了他一屁股砸在地上，那發光的不就是黃金嗎？他趕緊爬到閃光處，伸手摸了摸，又拿了一個用袖子擦了擦，放在嘴裡狠狠咬了一口。呂秀才傻笑，自己摔在了金子庫了。有了這些金子，母親再也不用挨餓了，他跪在地上，三拜九叩，然後脫下自己的薄衫，整齊鋪在地上，開始往裡裝金子。就在此時，他好像發現牆上有東西，放下手中的金子，仔細一看，原來有圖像和文字，字跡還算清晰，呂秀才一字一句閱讀起來。
原來這是幾百年前，呂家祖宗存起來留給子孫們的，這個洞建造的很巧妙，是根據此地地形來建的。此地下有一條地下暗河，根據陰晴圓缺，這地下河每五十年滿一次水，水漲推動石塊，石塊又連接了河上的一個石頭，這樣連續作用，通往洞內的門在水滿之時打開，這就是為什麼聽到“吱，吱”聲的原因。
原來“皺一眉，五十載”說的就是縣裡每五十年的洪水，呂秀才斟酌了一番，繼續看下去。就在此時，他的後腦勺被狠狠砸了一拳，整個人摔在了黃金堆裡。呂秀才忍痛翻身一看，竟是老方丈。
“我等這天已經等了五十年。五十年前要不是你爹阻擾，我哪會剃髮吃齋念佛。”此時的老方丈像極了一頭猛獸。
“這麼說，你一直知道這裡。”呂秀才恍然大悟，三十年前擔心方丈會有今天，故叮囑母親一定要守住這房子。
“現如今這金子全部是我的了，我要將他們全部搬走。”老方丈推開了呂秀才，將自己的袈裟鋪在地上，瘋狂地往裡裝金子。呂秀才只好撿了自己的薄衫，站在一旁。
這時，那聲音又出現了，地也開始搖晃起來，呂秀才急了，拉住方丈說：“快走吧！門就要關了，牆上說了：不安，則大怒。你拿點就走吧！快點逃吧！”
“誰說的，這金子是我的，是我的。我要想盡世上的榮華富貴，我要過皇帝一樣的日子。”方丈一把抓住呂秀才的領子，呵斥道：“你是不是想霸佔我的金子，是不是！”說著用力一推將呂秀才推進了池塘，轉身又忙著裝金子。
呂秀才只感覺身邊一股強大的力量將他往暗河里拉，他知道這池塘有個口，是通往地上河。
不知過了多久，呂秀才被水沖到了下游灘上，醒來後拖著沉重的身子回了家。回到家，換濕衣服時，打開一看，胸前袖子裡全是金子，正應了牆上最後那句：順者，則富貴。
後來打聽，廟裡的老方丈失蹤了，至今沒找到屍首。呂秀才歎了歎氣，世間又有多少人為了錢財丟了性命。於是帶著母親離開了那裡，到別處安身享清福去了。