唐朝天寶十四年八月，長安教坊司的樂師潘雲松，到昭應縣（今臨潼）辦事，辦完事看天色已晚，就找了家旅店住下。他一個人閒得無聊，晚飯後站在店門口看夜景。
這時，有一個服飾古怪的人經過店門口時，緊盯著潘雲松看。潘雲松被看得不自在，轉身想回店裡去，那人卻趕過來拉住潘雲松說：「你真是長安教坊司的潘雲松嗎？」潘雲松看看那人，卻想不起是誰。那人只管拉著潘雲松高興地說：「你不認識我了？」潘雲松不好意思說不認識，隨口說：「認識，認識。」那人就更高興了：「你來得太巧了，今晚天魔樓有精彩演出，你一定要跟我去看看。」潘雲松問：「天魔樓是什麼地方？」那人拉了潘雲松邊走邊說：「去了你就知道了，我還要把你引薦給一個人。」潘雲松身不由己隨了他去。
天色越來越暗。不知走了多遠，兩人來到一座豪宅前。那衣飾古怪的人向門子報了姓名，潘雲松這才知道他叫謝大年。門子恭敬地讓兩人進去。
謝大年領著潘雲松熟門熟路地向裡走。大宅盡處，有座三層高的大樓，樓上四面八方掛滿了燈籠，那景象說不出的富貴奢華。二樓有笙管絲絃聲，大紗窗上剪影出搖曳的舞姿。
謝大年領著潘雲松上到二樓。二樓華屋深廣，滿堂鋪著一張厚氍毹，一班樂師席地而坐，吹管撥弦地奏著樂器。正堂上方，竟然還擺著一張床，隔著床幃，隱約可見裡面有一人躺著。
謝大年讓潘雲松先待在畫屏後。潘雲松好奇地問：「這是什麼地方？」謝大年說：「天魔樓。」
這時，一隊穿白衣的舞伎進來，個個臉上蒙著白紙，只露出兩眼。在低緩陰鬱的音樂中，他們手腳線提似的節節折動，跳起詭異而又悲傷的舞蹈。潘雲松從未見過這麼邪門的舞蹈，只看得毛骨悚然。
這時，床幃撩起，裡面坐起的竟是一個貼黃花描斗眉的美人兒。謝大年忙跟潘雲松說：「機會來了。」說完，緊走幾步，到美人面前施禮稟報，又用手指了指潘雲松藏身的畫屏。潘雲松知道是說他了。
美人讓潘雲松站到近前，問他：「你就是那個被皇上稱為快手的潘雲松？」潘雲松說：「正是小人。」美人揮手讓那隊鬼魅似的白衣舞伎下去，吩咐侍從抬上一架大羯鼓，笑著對潘雲松說：「聽說你鼓技精湛，我這兒也有幾個會打羯鼓的，你們可同時打起，看他們能不能跟上你。」原來，潘雲松是教坊司裡最擅長打羯鼓的，當今皇上李隆基，又對羯鼓情有獨鍾。一次，他見潘雲松把面羯鼓打得如同急雨驟落，沒有人能快過他的鼓點，大加讚賞，連呼快手。因此，潘雲松有了快手的美名。
潘雲松不敢推辭，拿起鼓槌，和對面四個鼓師一起打起鼓來。隨著鼓聲，上來一隊穿大紅衣服的人，戴著暴睛獠牙的猙獰面具，舉手踴躍地舞蹈著。潘雲松的羯鼓，打得流暢激烈，花樣繁多，而那四個鼓師的鼓點，卻漸落下風。潘雲松心想，再加把勁，就把那四個鼓師比下去了。於是潘雲松的鼓點越打越快，鼓點之間都聽不到停頓了。打著打著，潘雲松忽然發現對面多出一個奇怪的鼓師來。那鼓師留著短髭，面相憨厚，身材魁梧，頭上歪梳著椎髻，服飾古樸。潘雲松弄不明白他是怎麼坐到對面的。沒人注意多出一個奇怪的鼓師，這樓上奇怪的人多的是。
鼓師因為跟不上潘雲松的節奏，一個個知趣地歇了手，只有那個留著短髭的鼓師，絲毫不落下風地緊跟著。潘雲松暗覺吃驚，想不到在小小的昭應縣，竟有這樣技藝高超的鼓師。更讓潘雲松吃驚的是，短髭人已經不再亦步亦趨地跟著他了，而是不易覺察地快那麼一點點，把潘雲松誘引向更激揚大氣卻簡約的節奏。
在澎湃人心的鼓聲中，輕衣窄袖的美人，光腳下到猩紅的氍毹上，回風舞雪地跳起了《胡騰》舞。潘雲松見過的舞伎多了，跟長安城內一流的舞蹈家也多有相識，可能把《胡騰》跳得這麼清勁飛旋的，還真是少見。
《胡騰》跳完，鼓聲停歇，美人香汗微浸地對潘雲松說：「我很久沒有跳舞了，因為他們的鼓聲，不能像你的這樣振奮人心。你打鼓的技藝，堪稱天下無雙，我要賞你珊瑚一支，黃金百兩。」潘雲松連忙說：「慚愧，還有比我打得更好的。」他剛想說出短髭人，卻四下看不見短髭人的蹤影了，短髭人消失得像出現時那麼突然。
接下來，又是一些奇異的舞蹈，直到午夜才結束。所有樂師、舞伎，吃過豐盛的夜飯後，一撥兒一撥兒地走出了豪宅。潘雲松一直留心著，再沒有發現短髭人在這些人中間。出來時，謝大年跟潘雲松同路，潘雲松實在忍不住了，問道：「謝兄，我真的想不起以前在哪兒見過你。」謝大年笑笑說：「三年前在歧王府裡見過的。那時你就是各王府的座上客了，而我只是一個坐在下面打板兒的。那年臘月，你見我手指凍得通紅，特意給我端了一壺熱酒，讓我暖身子。」潘雲松仔細想想，還真給一個打板兒的同行端過一壺酒。他點點頭說：「你一說我想起來了，還真是老相識。我們剛出來的又是哪家宅邸？」謝大年說：「那是長信公主的私宅。她府上雖然蓄有舞伎、樂師，可我們這些外面的樂師，時不時要被她召去應差，數我在她府上走動最多。」
潘雲松在長安見過不少王子公主，可從沒有見過長信公主，卻聽過她不少傳聞。長信公主精於舞蹈，曾是健舞大家公孫大娘的徒弟。本來她很受父皇李隆基的喜愛，因為在選駙馬時違逆了李隆基的意思，硬是下嫁給了驃騎將軍，惹得李隆基很不高興。偏這驃騎將軍還屢屢犯顏直諫，到處搜集安祿山要反的消息，憂國憂民地一再上奏。李隆基根本不相信安祿山會反，一怒之下殺了駙馬。長信公主遂帶著喪夫之痛，搬出了長安城，鬱憤幽怨地居住到了昭應，常用怪異的歌舞，來表達她心中的憤恨與不平。
謝大年跟潘雲松在旅店門口分了手，潘雲松剛要進旅店，身後忽然有人說：「請潘先生再賜教。」潘雲松驚異回頭，見身後站著一個高大的漢子，背上扛著一個大鼓，細看竟是那個鼓藝高超的短髭人。
「今夜月明星稀，我想請先生到郊外擊鼓。」短髭人話音洪亮，態度誠懇。潘雲松高興地說：「半夜站在郊外，是最適宜擊鼓的。鼓聲能遠傳十里之外的，才是一個好鼓手。我們試試，看誰的鼓聲傳得更遠。可都半夜了，去郊外的城門關著啊。」短髭人說：「這個不妨事，我跟守城門的兵士認識，城門現在為我們開著。」
兩人到了城門那兒，城門果然開著，卻不見開城門的兵。潘雲松心裡閃過一絲疑惑，也沒有多想。出城後，他們來到一片空曠地。短髭人找了一塊地形稍高的地兒，放下大鼓，對潘雲松一揖道：「潘先生先請。」
潘雲松使出全身力氣擂了一槌，鼓聲清烈透遠，一下子傳出去不止十里。一通鼓後，潘雲松把鼓槌交給短髭人。短髭人一言不發地接過鼓槌，雙臂沉穩地起落交替，擂出的鼓聲雄渾恢宏，震懾人心。潘雲松突然感到腳下震動起來，地下隱隱像有雷聲滾動，他正驚疑著，短髭人住了鼓聲，地面瞬時不浮動了。
潘雲松驚奇極了：「我從來沒有聽過這麼雄壯的鼓聲。」短髭人憨厚地說：「這是行伍中簡單的調子，哪能跟先生的相比？不再叨擾先生了，我送您回去吧。」潘雲松說：「我又不是怕走夜路的女人，只要城門還開著，我自己走回去。」短髭人說：「城門還在為先生開著，先生走好。我們還有再見一面的緣分。」
兩人拱手作別。潘雲松走了幾步，回頭看，短髭人已經不見了，不由歎道：「真是個奇人。」
潘雲松回到旅店，只睡了一小會兒，天就亮了。吃早飯時，潘雲松問店小二，昭應有沒有長信公主的私邸。店小二說有，而且這長信公主生性乖張，近來行事尤其怪異。聽店小二這麼說，潘雲松也就不再驚疑昨晚上的經歷了。
回到長安後，潘雲松向人說起給長信公主打鼓的事，教坊司內有嫉妒他才能的，借此誣告他在長安城內進出豪門，實際上是長信公主的耳目。
不久，潘雲松被逐出教坊司，不許在長安城內王公大臣家走動。
潘雲松正走投無路，謝大年找到了他，說：「既然給你捏造了罪名，乾脆坐實它好了。長信公主很欣賞你，讓我特意來請你。」潘雲松只好投靠了長信公主，在她的府上當了一名樂師。
這年十一月，三鎮節度使安祿山在范陽造反，十五萬精銳人馬所向披靡地直撲長安。李隆基帶著楊貴妃倉促逃出長安，往四川避難去了。長安城內許多皇子王孫被他遺棄不顧，更不要說住在昭應的長信公主了。
叛軍包圍了昭應城，守城的兵力遠遠不夠，整個昭應城陷入絕望和恐惶中……
這時，長信公主穿戴起駙馬的盔甲，親自帶著府中所有成年男子來支援守城的將士，潘雲松也在其中。長信公主的支援小隊登上城頭時，守城兵將的士氣，一下子被鼓舞起來了。長信公主看著城外叛軍密密麻麻，不計其數，不由心涼了一半，暗想：「與其坐等城破，受辱而死，不如戰死沙場痛快，也不枉了這一身的武藝。」主意拿定，她在守城的將士中挑選出二百精騎隨她出城迎戰，並要潘雲松在城頭擂鼓助陣。
以長信公主為首的二百精騎，一馳出城門，潘雲松就在城頭上擂起了戰鼓。叛軍先是被唐軍衝亂了陣腳，但很快就穩住了局面，把長信公主他們分割包圍起來，不一會兒就把長信公主的人馬斬殺過半。潘雲松從未打過仗，眼下血腥的殺戮場面，嚇得他手腳發軟，連鼓槌也拿不起來了。
「潘先生，讓我來。」一雙有力的大手拿過鼓槌。潘雲松轉身細看，卻是面相憨厚的短髭人。只見他穿著古樸的軍衣，和唐軍裝束很不相同，看起來怪怪的。「你也當了兵？」潘雲松驚喜地問。「我一直是當兵的，在軍隊中做鼓手。」短髭人說完，狠力擊鼓，通通的鼓聲，差點兒把潘雲松的耳朵震聾。應著鼓聲，遠處彷彿有地雷滾動。這奇怪的聲響很快傳延到了城頭，以致城頭都晃了起來。突然，戰場上地陷沙濺，無數高大強悍的騎兵，穿著和短髭人一樣的服飾，舉著金鉤銅戈和旗幟，從地下騰躍出來。叛軍被這詭異的勁旅踐踏得人仰馬翻，死傷慘重，瞬時潰退百餘里。
叛軍敗退，戰鼓停息，那神威的騎兵，頃刻沒入地下，連同剛才擂鼓的短髭人也不見了。城頭上的唐軍看得目瞪口呆，都不知道是哪方神聖。
長信公主率殘部死裡逃生，擔心叛軍再來報復，於是大開城門，讓昭應的軍民傾城出逃。
平定安史之亂後，繼任皇帝肅宗召集舊人，潘雲松依然回到了教坊司，長信公主也因戰功受到了新帝的禮遇。
昭應（今臨潼）緊依驪山，而秦始皇的陵墓，就在驪山腳下。潘雲松遍查史籍，雖然沒有發現有關秦始皇兵馬俑的記載，但那支神秘隊伍打著的旗幟上，卻分明寫著秦字。所以潘雲松相信，那突然冒出來的詭異騎兵，是秦始皇的地下軍隊，而短髭人就是地下軍隊中的鼓手。