嶗山下清宮，美麗幽靜。院內有耐冬樹木高達兩丈，大數十圍；一株牡丹高達丈餘，花開時節璀璨似錦。
膠州黃生在嶗山下清宮讀書。一天，黃生正在窗下讀書，讀得久了，有些疲憊，於是向窗外觀看。忽然發現有一穿著素衣的年輕女郎，掩映在百花叢中。他心中疑惑：這深山古寺怎麼會有這少女出現呢？於是開門出去，想看個究竟，又哪有女郎的影子？從此，黃生經常看見這素衣女郎，但每次都找不到她。於是黃生決定偷偷的隱身樹叢之中等候著女郎的到來。不大一會，果然見那素衣女郎和一位紅衣女郎來了，遠遠地望，具可謂艷麗雙絕。她們二人慢慢地越走越近，忽然，那紅衣女郎向後退了兩步，說：「不好，這裡有生人！」說著，就要離開。黃生怕錯過這次見面良機，急忙從樹叢中鑽出來。兩位女郎大驚，急忙往回奔跑，袖裙飄拂，香氣洋溢，沁人肺腑。黃生追過一堵短牆，發現她們已蹤影皆無。黃生對女郎的愛慕之情更加強烈，於是取來筆碩，在樹下題短詩一首：
無限相思苦，含情對短窗。
恐歸沙吒利，何處覓無雙。
黃行回到房間，苦思冥想，心中久久不能平靜。忽然，那素衣女郎推門進來，黃生又驚又喜，急忙站起身來迎接。她微微一笑，說道：「看你剛才簡直像個氣勢洶洶的強盜；看了你的詩，才知你乃騷雅之士，不妨相見。」黃生受寵苦驚，急忙問女郎的生平。她說：「我名叫香玉，原是洛陽人氏。只中被宮中道士強迫來這裡，其實並不是我的願望。」黃生問：「那道士叫什麼名字？我一定為你排憂解難。」女郎說：「不必了，其實道士也不敢強逼我什麼。在這裡若能夠長期和你幽會，也好啊！」黃生又問那紅衣女郎，她說：「她是我的乾姐姐，名叫絳雪。」
二人越談親密，情意纏綿，不覺曙色已紅。香玉急忙起身，臨走說道：「我作了一詩，以酬君作，你不要笑我啊。」於是念道：
良夜更易盡，朝暾已上窗。
願如樑上燕，棲處自成雙。
黃生聽說，情不自禁地握住香玉的手腕，說：「你真是秀外惠中，令人愛而忘死啊。想到你匆匆離去，真如千里之別。你有時間一定要來，與我相會。」香玉答應了他，從此，每天夜裡必來與黃生相會。黃生多次請香玉邀絳雪同來，但絳雪總不來，黃生頗有怨恨。香玉說：「我姐姐性殊落落，不像我那麼情癡。讓我慢慢地勸她，你不要著急。」
一天晚上，黃生見香玉含淚而來，哭泣著說：「大禍臨頭了。今天我就要和你永別了。」說著，以袖試淚。黃生急忙追問究竟，香玉說：「此乃天間，難以給你說明白。」黃生再問，香玉只是嗚咽，什麼也不說。直到天明，香玉才戀戀不捨地走了。黃生感到非常奇怪。
第二天，即墨縣一位姓藍的人帶人來下清宮遊玩，見到院中有一株白牡丹，非常喜歡，就向寺裡的人索求，於是說把棵白牡丹掘出來移走了。黃生這才悟到，香玉是牡丹仙子，於是非常惆悵惋惜。過了幾天，他聽說藍氏把白牡丹移到家中，枯萎了。他傷心至極，作了《哭花》詩五十首，每天都要到牡丹穴處憑弔。
有一天，黃生憑弔方回，回頭看見紅衣女郎絳雪揮淚穴側。黃生慢慢地走近她，她也不迴避。黃生於是請她到屋裡去坐，絳雪答應了。她歎息說：「可憐我們姐妹，一朝斷絕！聽說你悲不欲性，更增加了我的悲慟。假如親人的眼淚能墮入九泉之下，也許可使香玉再生的吧。可她已死多日，神氣已散，怎麼能馬上與我們兩人共談話呢？」黃生說：「都怪我命薄，妨害了情人，維道就沒有辦法了嗎？」絳雪說：「我總認為年少書生，十之有九都是愛不專一的；沒想到你是這樣癡情地愛著香玉。我來此，也是敬慕你這種美德，而不能代替香玉與你共寢眠啊。」說完就要告別而去。黃生說：「香玉長離，使人寢食俱廢。如果你能陪伴我一會，也可使我稍微感到寬慰，你怎麼如此決絕無情呢？」絳雪只得陪伴他消愁解悶，天明才離開。
從此，好幾天，絳雪沒有再來。黃生苦懷香玉，輾轉床頭，淚濕枕席。這一天，冷雨幽窗，黃生更難入眠。他披衣而起，在燈下吟誦：
山院黃昏雨，垂簾坐小窗。
相思人不見，中夜淚雙雙。
寫畢，他忽聽窗外有人道：「作詩不能無有唱和。」聽話音知道是絳雪來了。開開門讓她進來，絳雪看了詩即刻續吟道：
連袂人何處？孤燈照晚窗。
空山人一個，對影自成雙。
黃生讀了，潸然淚下。黃生坦怨她來的次數太少了。絳雪說：「我不能像香玉妹妹那樣給你溫暖，只能給你一點寬慰。」黃生說：「那我也就感激不盡了。」
從此，每當寂寞無聊時，絳雪總是前來陪伴他。黃生感慨地說：「香玉我愛妻，絳雪我良友也。」每次都問她：「你是院中第幾株？希望你早告訴我，我好小心地移到家中，免得你像香玉一樣被惡人奪去，遺恨百年。」絳雪回答說：「故土難移，告訴了你也沒有用處。你的妻子尚且不能從終，何況朋友呢？」黃生不聽她的，強拉著絳雪的手到院子裡，每到一棵牡丹旁就問：「這是你嗎？」絳雪不回答，只是掩口而笑。
光陰荏苒，新年到了，黃生要回家過年了。在家裡，二月的一天，他忽然夢到絳雪來到他身邊，惆悵地說：「我又大難臨頭了。你如果能急速前來，我們還能想見；遲了就見不到了。」黃醒後十分驚異，急忙命家人備馬，星夜趕往下清宮。原來道士將建造房屋，有一棵耐冬樹，妨礙建房，工匠們正準備砍伐它。黃生急忙上前阻止，耐冬樹總算保存下來。
這天夜裡，絳雪來到房中向黃生道謝。黃生笑著說：「以前你不把實情告訴我，才遭此橫禍。今天我已知道了你的真實身份，如果你不來我這兒，我就用拿著火繩烤你了。」絳雪說：「我知道你會這樣做的，所以才不敢把實情告訴你。」二人相對坐了一會，黃生說：「今日而對良友，更加思念艷妻。好久沒有哭香玉了，你能和我一塊去哭她一場嗎？」絳雪答應，二人一同來到牡丹穴處，灑淚憑弔。直到黎明，絳雪收淚，勸黃生回去。
又過了幾天，黃生正房中獨坐，絳雪喜笑顏開地從外面進來，說道：「報告給你一個好消息：花神深為你的至情所感動，讓香玉再回下清宮了。」黃生忙問：「什麼時候？」絳雪答道：「不知道，大約為期不遠了。」
接下來，兩天沒有見到絳雪的面。黃生抱著耐冬樹，搖動撫摩，連聲呼喚絳雪的名字，但一點回聲也沒有。黃生無奈，回到屋裡，拿起一條用艾擰成的火繩，對燈點上，就轉身出去想去燒烤耐冬樹。絳雪急速闖來，伸手奪過艾繩，說道：「惡作劇，讓我受痛，我與你斷交了！」黃生連忙陪笑致歉。這時，只見香玉步態盈盈地走了進來。黃生一見，涕淚交加，急忙上前握住香玉的手。香玉用另一支手握住絳雪，相對悲哽。
等坐下來，黃生握住香玉的手好像什麼也沒有抓住，像是自己攥起手一樣，不由得驚問：「這是怎麼了？」香玉泫然回答：「以前我是花神，是有實體的；如今，我為花鬼，形體已散了。今天雖然相聚，你只當做是夢中相會吧。」絳雪說道：「妹妹，你來了可太好了。我被你這一口子糾纏死了。」於飄然而去。
香玉和黃生相對而坐。香玉款笑如前，但依偎之間，總感到好像是以身就影，黃生悒悒不樂。香玉更是前俯後仰地悲歎。香玉說：「嶗山上有一種白蘞草，你挖 來曬乾碾碎，再稍摻些硫磺，浸泡水中，每天到我的穴處澆灑一次，明天此日我一定會報答你的恩情的。」說罷就走了。
自此，黃生按香玉說的去做了。不久，泥土中很快萌生出一叢牡丹來。黃生於是更加愛護，又在花棵周圍作了欄杆加以保護。香玉來到黃生屋裡，感激倍至。黃生告訴她要將牡丹移到家裡去，香玉拒絕了，她說：「我體質虛弱，經不起司 伐之苦。況且萬物生長各有一定的地方，我本不是生在你家，如果硬要違犯，反而遭不幸。只要你我真誠相愛，相聚的日子不會太久了。」
說話間，黃生又埋怨絳雪不來。香玉說「如果你一定要她來，我能辦到。」於是她和黃生挑打到樹下，香玉折了一根草莖作尺碼，自下而上丈量到四尺六寸的地方，按在那裡，讓黃生用兩手搔撓。不一會，絳雪就從背後出來了，笑罵說：「你們兩個太不夠朋友了。」香玉說：姐姐不要責怪，我這郎君太寂寞了，你就暫時陪陪他吧，一年後就不會煩擾你了。」絳雪只好答應。
在黃生的精心護理下，那棵牡丹一天天繁茂起來，春末牡丹已長到二尺多高。他回洛陽時，把金銀留給道士，囑咐他精心培養。第二年四月到下清宮，花一朵含苞還未放，不久，花就開了，花大如盤。黃俯身細細觀察，花蕊之中儼然有一個小小的美人，才三四指大小，轉眼之間，飄然欲下，原來就是他朝思暮想的香玉。香玉笑道：「我忍受著陰風苦雨等待著你，你怎麼到今天才來啊？」說完，裙袖飄揚，已站在黃生面前。二人驚喜交加，訴說衷腸。忽然背後傳來絳雪的聲音：「你們今日團聚，我這個朋友，總算盡到責任。」三人一同談笑，到很晚，絳雪才離去。
從此，黃生和香玉相親相愛，生活得非常幸福。有一次，黃生指著那株牡丹說：「等我死後，我一定變做一棵花木，寄魂於此。」香玉和絳雪說：「希望你不要忘了你的話。」
後十多年，黃生忽然病倒。他的親人聞訊而來，非常悲哀。黃生笑說：「這不我的死期，而是我的生期，有什麼可悲的呢？」又對道士說：「他日若見牡丹下有赤色的花芽生出來，又是一放五葉的，那就是我。」說罷，再不起不來了，黃生離開了人間。
第二年，果然牡丹花下有花芽生出，而且葉子恰好是五個。道士非常驚異，更加用心澆灌它。三年後，高達幾尺，花翠挺秀，但始終不見開花。老道士死後，他的子弟不知愛惜，又見它始終不開花，於是把它砍掉了。沒想到，那株白牡丹很快就枯萎而死，那株耐冬樹木也相繼死去了。