柳世隆字彥緒，是河東解人。祖父柳憑，曾任馮翊太守。父親柳叔宗，去世比較早。
柳世隆少年時就很有風儀器度，伯父柳元景，在宋朝大明時期(457～464)做過尚書令，對世隆特別賞識喜愛，超過其他幾個孩子。又把世隆的情況講給孝武帝聽，於是孝武帝召見了世隆，孝武帝說：「此人將來能做到三公呢。」海陵王劉休茂做雍州刺史時，召聘柳世隆為迎主簿。後來被任命為西陽王撫軍法曹行參軍，出任虎威將軍、上庸太守。孝武帝對元景說：「你過去曾以虎威將軍之號出任隨郡太守，現在再把此職授予世隆這便可以使你柳門世不絕公了。」柳元景後來被景和皇帝(劉子業)殺害了，柳世隆由於身在遠方而倖免於難。
泰始初年，諸州反叛，柳世隆由於家門之禍得到了昭雪，這事是由宋明帝作主的，於是便依據相郡起兵，派遣使者響應朝廷。弘農人劉僧駘也聚眾響應。他收合了上萬人，忽地趕到襄陽萬山，被孔道存攻破，手下人都逃散了，只他自己保了條性命，逃藏到民間，事情平定後才出來。回到京城後，柳世隆被任命為尚書儀曹郎，明帝為了嘉獎他的一片義心，發詔提拔他為太子洗馬，出任寧遠將軍、巴西梓漳太守。還朝來任越騎校尉，轉任建平王鎮北諮議參軍，領南泰山太守，轉任司馬、東太守，入為通直散騎常侍。
不久柳世隆便任晉熙王安西司馬，加寧朔將軍。當時世祖(蕭賾)任長史，與柳世隆相識後相處很是投機。太祖(蕭道成)打算廢掉廣陵王，命令世祖率眾下屬，同會京城，柳世隆則與上流蕭景先等戒嚴待命，這事當時沒弄成。
這個時候朝廷對沈攸之頗懷疑憚，暗中作了防備，府州武器，平時都有儲備。世祖將回都城，劉懷珍提醒太祖說：「夏口是兵衝要地，必須找個合適的人安排在那兒才行。」太祖採納了他的意見，給世祖寫信說：「你既然要回朝廷來，就必須找一個文武兼備又與你關係投合的人交待後事，而柳世隆是最恰當的人選。」世祖便推薦世隆來代替自己。柳世隆轉任武陵王前軍長史、江夏內史、行郢州事。
升明元年(477)冬天，沈攸之反叛，派遣輔國將軍中兵參軍孫同、寧朔將軍中兵參軍武寶、龍驤將軍騎兵參軍朱君拔、寧朔將軍沈惠真、龍驤將軍騎兵參軍王道起三萬人為前驅，又派遣司馬冠軍劉攘兵領寧朔將軍外兵參軍公孫方平、南齊書龍驤將軍騎兵參軍朱靈真、沈僧敬、龍驤將軍高茂二萬人緊隨其後，又派遣輔國將軍王靈秀、丁珍東、寧朔將軍中兵參軍王彌之、寧朔將軍外兵參軍楊景穆二千騎兵分兵出夏口，據魯山。沈攸之乘輕舸帶領數百隨從先於大軍下往白螺洲，坐在胡床上看著自己的大軍，很有些得意神氣。到達郢州後，他覺得郢城太弱小不足攻打，便遣人告訴柳世隆說：「根據太后的命令，要暫時回都城去，你我既然同為國家效力，我的意思你也該明白。」柳世隆使人答覆說：「部隊東下，我們早已打算離去。」柳世隆派軍在西渚挑戰，沈攸之果然憤怒，下命渚軍登岸焚燒城郭，築建長圍攻道，對身邊的人說：「以此攻城，何城不克！」晝夜攻戰，柳世隆只是作適當的抵抗，眾人皆散開去。世祖臨行前和柳世隆版別時說：「沈攸之一旦有變，焚夏口舟艦沿流而東，那麼我們坐守空城，便制約不了他。要引誘他來攻城，但又不能讓他很快攻克。這樣你在他裡邊打，我在他外面攻，便無憂患了。」到這時，世祖便派遣軍主桓敬、陳胤叔、苟元賓等八支大軍佔據西塞，令他們堅壁以待沈攸之疲憊。世祖又擔心世隆危急，便派心腹胡元直偷偷進入郢城向世隆通報援軍消息，於是內外並喜。尚書符中說：
沈攸之出身農家，世代無聞。已故司空沈公是他的從父，對他愛若自己的兒子，並為他提攜吹噓，才使他得以陞官。景和皇帝昏庸悖慢，對大臣猜忌畏懼，而沈攸之凶暴殘忍，趨利樂禍，領了詔旨後，而反咬一口。又沈攸之與譚金、童泰壹等暴寵狂朝，都是皇上得力將臣，同功共體，人稱「三侯」。當時的親暱程度，超過管、鮑，後來碰上朝廷變革，凶黨們害怕被殺戮，沈攸之又反過來貪圖自保，既殺了從父，又虐待朋友，即使是呂布的出賣君主，酈寄的陷害朋友，比起沈攸之來，也不及他殘酷。泰始皇帝執政才開始時，法網寬枕，對於沈攸之，朝廷忽略了他的凶險，只重視他的勇猛，於是他借助混亂獲得了保全，又利用了禍難而享福祿。
沈攸之秉性空淺，驕躁而無謀略，濃湖戰役，本非他自己的功勞，而在彭城、下邳的時候，他又望旗夜逃，丟下王師不管，對他早就應該繩之以法，卻巧值先帝寬宥其回溪之恥，並指望著能打勝仗，所以才使他僥倖又被提拔，頻頻被授予顯要職務。在內掌握著宮廷禁衛，在外統治著萬里城鄉。皇上臨死時，還那麼老遠地頒詔請他參與顧命，寄托何其深重，此情此義，雖金石也能感動。而沈攸之始奉國喪時，便喜形於色，普天同哀，就他自己以為喜慶。隨後他不斷出任地方要職，從郢州到荊州。晉熙王以皇弟的身份前往代任，沈攸之截斷了迎接，肆意凌侮。並挑選了精銳的士馬器械，供自己使用。郢城所留，十不餘一。專恣擄奪，根本不顧國法。他到荊州後，一直運用奸謀，既心懷異志，便要無端生事。於是逼迫群蠻，騷擾山谷，又揚言要大舉討伐，要家家出丁。聚眾城郭，窺伺國家的衰盛時機，多少年來，不求解甲。遂造成四野百縣，路上不見男人，耕田載租，全都驅使婦女和老弱。如此酷虐，自古未聞。
往年桂陽王內亂，朝廷危急。沈攸之官居上層，兵強地廣，本應發兵勤王。但是他只挑選一些病弱士卒，不滿三千人，到郢州接受指揮，他是想等到形勢明朗時把罪責推給晉熙王。他招誘劍客，扣留行侶，對逃亡到他境內的人，他總是給予保護，而對外逃人員，他又總是窮追不捨。視官吏如仇敵，拿老百姓當草芥，增加賦稅，加重刑罰，鞭撻國士，活像異族，一人逃亡，全族逮捕。皇朝的赦令，他也不遵奉。使得皇上的寬大恩澤，長期不能落實到當地，十有九家，人懷怨望。如今他又舉兵內亂，而又有奸回外熾，這正是他惡熟罪成之地，也是朝廷決..潰疽之時。各幕府負有朝廷深重寄托，義憤百倍，統御將帥，恭行天罰！
今派遣新授職的使持節郢州、司州的義陽諸軍事平西將軍郢州刺史聞喜縣開國侯黃回、員外散騎常侍輔國將軍驍騎將軍重安縣開國子軍主王敬則、屯騎校尉長壽縣開國男軍主王宜與、屯騎校尉陳承叔、右將軍葛陽縣開國男彭文之、驃騎行參軍振武將軍邰宰，精銳甲兵二萬人，為先頭部隊。又派遣散騎常侍游擊將軍湘南縣開國男呂安國、持節寧朔將軍越州刺史孫曇馞、屯騎校尉寧朔將軍崔慧景、寧朔將軍左軍將軍新亭侯任候伯、龍驤將軍虎賁中郎將尹略、屯騎校尉南城令曹虎頭、輔國將軍驍騎將軍蕭順之、新授寧朔將軍游擊將軍下邳縣開國子垣崇祖等，率水軍二萬，緊隨其後。又派遣屯騎校尉苟元賓、撫軍參軍郭文考、奉朝請諸襲光等，率水路輕軍一萬，截斷沈攸之的要道渡口。驍騎將軍周盤龍、後將軍成買、輔國將軍王來力勤、屯騎校尉王洪範等，率鐵騎五千，從陸路步行跟上，截斷對方的逃藏後路。持節、督雍梁二州郢州之竟陵司州之隨郡諸軍事、征虜將軍、寧蠻校尉、雍州刺史、襄陽縣開國侯、新授鎮軍將軍張敬兒，志節慷慨，特命率其所部從樊、鄧之軍，水陸並馳，攻破沈攸之的巢穴。持節、督司州諸軍事、征虜將軍、司州刺史、領義陽太守范陽縣侯姚道和，義烈梗概，特命率其所部立刻南齊書起程，以風馳電掩之勢，襲擊沈修之的輜重供應。四方萬里，旌旗飛動，諸位各率眾師，浩蕩進軍。人神同憤，遠近一心。
當今皇上聖明，將相仁愛，約法三章，寬刑緩賦，年成豐收。家家充足，在上者有惠民的恩澤，在下者沒有樂亂的心情。沈攸之不識天時，狂妄地進行大逆之舉，出動他的無名之師，驅使那些仇怨他的人眾，所以朝野都知道討伐他乃是輕而易舉的事情。他那裡的士民，受害日久，如今又被他逼迫到戰場上去送死。戰事一旦開始，兵刃是不分好人壞人的，你們要先考慮好，作出選擇，朝廷是不願意讓一個人執迷不悟，而使其九族受禍的。寬宏的政策，如同皎日一樣。
沈攸之既攻不下郢城，而平西將軍黃回的大軍已經到了西陽，他乘三層戰船，奏羌胡會樂，逆流而進。沈攸之平時就不得人心，這回本就是威逼下屬反叛的，因此從江陵出發時，就有人叛逃，到這時更加多起來。沈攸之一早到晚乘馬到各營去撫慰，而逃跑的人還是不斷。沈攸之於是大怒，召諸軍主帥來說：「我是遵照太后的指令，為了正義才下都城的，大事若成，富貴榮華大家都有份兒；如果不成，朝廷當然要殺我家族，和他人無關。近來軍人叛逃，都是你們沒能留意，我也不能一個一個去問他們，以後軍中再有叛逃者，軍主要承擔罪責。」於是有一人叛逃，便派十個人去追，結果是逃的和追的都不回來了。大家雖不敢聲張，但都在自謀出路。劉攘兵用箭射信給柳世隆表示投降，世隆便開城門讓他進來。攘兵燒營離去時，大火燃燒，沈攸之才發覺，於是惱怒，咬著鬍鬚咒罵。又把劉攘兵哥的兒子劉天賜、女婿張平虜抓來殺了。這下更使軍旅大散。沈攸之渡過魯山岸時，只有數十騎兵跟隨著。他宣令軍中說：「荊州城中錢多得是，可回去取來，作為資糧。」郢城還沒有兵，而散軍害怕被蠻人抄掠，又聚合起來，大約有二萬人，跟隨沈攸之，快到江陵的時候才散去。柳世隆派遣副將劉僧駘在路上追擊沈攸之。
沈攸之死後，朝廷調柳世隆任侍中。又遷任尚書左僕射，封為貞陽縣侯，食邑兩千戶。出任左將軍、吳郡太守，增加俸祿到二千石。後來他母親去世，便在家服喪。太祖登基為皇帝後，起用世隆為使持節、都督南豫州、司州諸軍事、平南將軍、南豫州刺史，晉封公爵。皇上親筆詔書給司徒褚淵說：「不久前見到世隆哀傷毀瘠過甚，都快認不出來了，不僅讓人惻然。實在也應得到世人國家的珍惜和愛護。」褚淵回答說：「世隆至性純深，哀傷已超過禮節的要求。服事陛下能在危急中盡忠，母親去世他憂傷到這種地步，這二者都是立人之本，應當為他加榮增寵，足以引導風俗。」
建元二年(480)，進號安南將軍。這時北虜寇掠壽陽，皇上指示柳世隆說：「歷陽城太大，恐怕治理不過來，正好可以隔斷了治理，堅固保守。要讓老百姓都帶著家小保守此城，若是單身的人很難指靠。」不久又指示說：「我認為應該保留歷陽外城，如果有賊來，便命百姓守城，所以比割棄要好得多。」
垣崇祖攻破北虜後，皇上打算撤並二豫州。指示柳世隆說：「近來考慮到江西蕭索，二豫州不容易處理。很多人建議撤掉一個充實一個，比較方便。我也覺得不錯。你以為如何？想聽聽你的意見。」不久，任命柳世隆為後將軍、尚書右僕射，沒接受。柳世隆喜歡博覽群書，曾啟稟太祖借國家圖書館裡的書看，皇上給了他二千卷。
建元三年(481)，出任使持節、都督南兗、兗、徐、表、冀五州軍事、安北將軍、南兗州刺史。江北害怕虜寇，騷動不安。皇上指示世隆說：「近來北邊有消息說，賊方還在彭城治兵，快到年底，也許不會來送死。不過豺狼心性是不能按常理推想的，因而防備工作不可懈怠。那裡的城郭既然沒有關要供憑據，因而應當開掘城河，離城三十丈比較合適。你只管發動民眾施工便是，沒關係的。如果按三千人計算，得食用多少糧米？你可以申報並附信送還來我看。民間如果有男丁多而家眷少的，都讓他們來守衛，也沒什麼問題。」又指示說：「昨夜得北邊來人報告：鍾離一帶的賊軍已經渡了淮河，既然他們前來送死，你便予以剿滅。你好好佈置一下，應急令各小守衛立即回鎮所，不能賊軍到了還沒發覺。賊軍既已過淮，就不會很快散去的，他們一定要找到該送死的地方才行，所以一定會進攻壽陽，我會派援前往的。」皇上又派軍援助柳世隆，並撥給軍糧。
北虜退後，皇上想對江北居民進行統一編定人口戶籍制定賦稅徭役(此即「土斷」)，又指示柳世隆說：「呂安國近不在西邊，土斷了郢、司二州境內的雜民，很好，民眾基本上消除了驚恐。最近又令豫州對境內實行土斷，得到崇祖的啟書，說是已進行完了，近來沒有雜民云云，很符合前代舊意。你看看兗州境內能行此事不？如果沒什麼麻煩，開春就可以著手進行了。」足見皇上對柳世隆是如此親信委重。
世祖即位後，加柳世隆散騎常侍。柳世隆善於占卜，識別龜甲，他那副龜甲價值一萬。永明建號時，柳世隆在齋壁上題字道：「永明南齊書十一年。」又對典簽李黨說：「我是看不到永明的結局了。」柳世隆後回朝中任侍中、護軍將軍，遷任尚書右僕射，領太子右率，雍州大中正，不接受，改授散騎常侍、尚書左僕射，中正仍舊。
湘州的蠻部有所騷動，朝廷派柳世隆以本官總督伐蠻諸軍，仍為使持節、都督湘州諸軍事、鎮南將軍、湘州刺史，常侍如故。世隆到達鎮所，用方略討平了蠻間。在州里建立宅邸經營家業，被中丞庾杲之所奏劾，皇上下詔原諒不問。又回朝任尚書左僕射，領衛尉，不接受。轉任尚書令。
柳世隆早年時便建立了功名，晚年則專以談論道義自業。善彈琴，世人稱之為柳公雙趜，為士品第一。經常說自己是馬..第一，清談第二，彈琴第三。在朝任官不管世務，只是垂簾彈琴，風韻清遠，深受世人讚譽。由於生病而退職，改授他侍中、衛將軍，不接受，轉任左光祿大夫，侍中仍舊。
永明九年(491)，去世，當時五十歲。皇上詔給東園秘器，朝服一具，衣一襲，錢十萬，布三百匹，蠟三百斤。又下詔說：「已故侍中左光祿大夫貞陽公柳世隆，秉德居業，兼有經緯天下之才。少年時便清譽遠揚，長大後更增美名。入朝參與內禁軍務，出朝協助西邊治理，在郢城專負重托，挫敗沈攸之，功勳卓著，超越前代。後來領導地方工作，老百姓讚頌他的寬宏大德，輔助皇帝執政，滿朝都稱讚他的正派。他的忠誠美好，朕都記在心上，他的雅志素履，卻是難以企及。正當他將要登位三公，參與教化天下大業的時候，不幸去世，讓朕震慟良深。贈司空、班劍儀仗三十人，鼓吹一部，侍中之號依舊。謚號為『忠武』。」皇上又在給吏部尚書王晏的敕中說：「世隆雖多年抱病，但志氣未衰，原指望醫藥有效，不久痊癒。不料一旦去世，我哀痛之深，無可言表。他當年在郢州，一片忠誠，促使一蕃，勳業卓著。一旦離去，令人增泣悲咽。你也懷有同樣的感情，也應該是悲傷不已吧！」
柳世隆通曉術數，在倪塘創墓時，和賓客一起確定位置，大家選來選去，世隆只是常坐在一處。到他死後，墓址恰好就選在他坐的地方。著有《龜經秘要》二卷，流行世間。