劉杳字士深，平原郡平原縣人。祖父劉乘民，劉宋時任冀州刺史。父親劉聞慰，齊朝時任東陽郡太守，政績清廉，事跡記錄在《齊書·良政傳》中。
劉杳只有幾歲，征士明僧紹見到他，撫摸著他的頭說：「這小孩真是一匹千里小馬。」十三歲。父親去世守喪，每次痛哭，哀傷得讓過路人也感動不已。天監初年，任太子博士、宣惠豫章王行參軍。
劉杳年少時十分好學，博覽群書，沈約、任窗等人，每遇到有些遺忘、記不起來的史事詩句，都來問劉杳。曾與沈約坐在一起談到宗廟祭祀用的酒杯，沈約說：「鄭玄曾回答張逸，說在酒杯上畫鳳凰尾巴搖曳的樣子。現在沒有這樣的器皿，所以不仿照古代。」劉杳說：「這話未必有參考價值。古代的杯子器皿，都將木頭刻成鳥獸的形狀，在其背部或頭部鑿一個洞，以便倒出內裝的酒。前不久魏朝魯郡地下發掘出齊大夫子尾送給女兒的器物，有酒壺呈犧牛形狀。晉朝永嘉年間盜賊曹嶷在青州挖齊景公的墓，又得到相同的二隻樽，形狀也像牛。這兩處都是前人留下的器物，想必不是假的。」沈約特別同意他的看法。沈約又說：「何承天的《纂文》奇異廣博，書中記載了張仲師和長頸王兩件事，出處在哪裡呢？」劉杳說：「張仲師身長一尺二寸，出自《論衡》。長頸指毗騫王。朱建安在《扶南以南記》中說：『從古至今這裡的人長壽不死。』」沈約隨即找來這兩本書查對，完全和劉杳講的相同。沈約在鄉間修的居宅落成時又新建書房，劉杳寫了兩首詩祝賀他，並將詩文給沈約。沈約立即讓擅長書法的人將他的詩題寫在牆壁上，還專門寫信回謝說：「我生平愛好嗜欲不在於常人所盼的榮華富貴，喜歡山川林澤，自然山水，又多被世事奪擠。老之將至，這種心性快沒有了，但仍然有些閒情逸志，留戀清靜的曠野，在鄉下修建居室，不是為了停止工作，而是為了了卻夙願，偶爾能得到休息。仲長游居的地方，休璉記述的美景，盼望、羨慕很久卻不能親臨其境，怎能相比。你寄情山水，惠寄兩首詩，文采豐富妍麗。敘述議論並舉，字裡行間，音韻對仗工整，有聲有色，經你這一寫，此地似乎真的變美了十倍。我深知華麗的辭章讓人受益不淺，這種事的確很多，所以應當放在高處，無論是坐著還是躺著都能吟誦觀賞。其他幾篇文章，也都是極好的作品，加上寒舍既有了這樣的好詩，諸賢士來訪時自然有高見奇論，治病解悶，都可做到。他日敘談會面，再一起討論賞析。」沈約對他竟如此賞識。又有一次與任窗在一起，有人招待任窗螦酒而誤作木展字。任窗問劉杳：「這個字對嗎？」劉杳回答說：「葛洪在《字苑》中寫作木旁的..。」任窗又問：「酒能讓人醉千日，肯定是假話。」劉杳：「桂陽程鄉有千里酒，喝了後回到家裡便醉了，也是這樣的例子。」任窗大驚說：「我自己一定是忘了，的確不記得這件事。」劉杳說：「此典出自楊元鳳所寫的《置郡事》。元鳳是魏朝人，此書還記載了這樣的賦說：三重五品，商溪揆裡。」任窗當即找楊元鳳的書查對，與劉杳講的一字不差。王僧孺受命撰寫家譜，問劉杳的血緣關係。劉杳說：「桓譚在《新論》中說：『太史《三代世表》旁系都有記載，都倣傚周譜。』以此類推，當發源於周代。」王僧孺感歎地說：「真是前所未聞。」周捨又問劉杳：「尚書官穿紫衣，戴橐帽，相傳稱『挈囊』，究竟典出何處呢？」劉杳說：「《張安世傳》說：『手持橐握筆，侍奉孝武帝幾十年。』韋昭、張晏註釋說：『橐，囊也。近臣持筆，以備顧問。』」范岫撰寫《字書音訓》，也求教劉杳。他博聞強記，像這樣的例子很多。
不久皇帝又讓他幫助周捨撰寫國史。出任臨津縣令，政績很好，任期滿後，臨津縣三百多人到朝請求他留任，皇帝下詔同意了百姓的請求。劉杳因病請求離職，回京後任雲麾晉安王府參軍。詹事徐勉推舉劉杳和顧協等五人進華林院撰寫《遍略》，該書完成後，以原任職官兼任廷尉正，又因腳疾解職。因此有閒暇著《林庭賦》。王僧孺看了後讚歎地說：「沈約的《郊居》以後，便沒有這樣好的作品。」普通元年(520)，又任建康縣令，提升為尚書駕部郎，幾個月後改任署儀曹郎，僕射徐勉將台閣文議交由劉杳負責。出任余姚縣令，在任期間清正廉潔，有人給他送禮，全都沒有接受，湘東王對他大加稱讚和褒獎。回京後任宣惠湘東王記室參軍，母親去世後去職離任。服喪期滿，恢復王府記室官位，兼任東宮通事舍人。大通元年(527)，提升為步兵校尉，仍兼任東宮通事舍人。昭明太子對劉杳說：「酒不是你所喜歡的，但任酒廚之官，完全是為了不愧古人。」不久有詔令讓他代替裴子野負責著作郎的事務。昭明太子死後，新立太子，按舊例原東宮人員都要離職調任，皇帝下詔特留劉杳仍在太子宮任職。繼續註釋昭明太子的《徂歸賦》，人稱他知識廣博。僕射何敬容奏請劉杳轉任王府咨議，高祖說：「劉杳必須先經過中書。」於是任命他為中書侍郎，不久任平西湘東王咨議參軍，仍然兼任東宮通事舍人和著作郎。提升為尚書左丞。大同二年(536)，死在官任上，年齡五十歲。
劉杳為人清廉儉樸，沒有過多的嗜欲。生性不自暴自棄，不評論別人的長短是非，看了佛家的經典後，時常做善事，忍讓克己。天監十七年(518)，自從為母親守孝，便長期不食葷腥，專吃素菜。臨死時，遺言用僧服裝殮，用敞車運載，還鄉安葬，隨便選擇一片墓地，只需安放下棺材就夠了，不要設靈台祭筵。其子按他的遺願辦理了喪事。
劉杳從小到大，著作很多。撰寫《要雅》五卷，《楚辭草木疏》一卷，《高士傳》二卷，《東宮新舊記》三十卷，《古今四部書目》五卷，都流傳在世。