王僧虔，是琅笽臨沂人。祖父王纂，在晉朝做過司徒。他的伯父就是太保王弘，在宋朝元嘉時代是朝中的宰輔重臣。賓客中有人對他的避諱不太清楚，王弘說：「像我的避諱和蘇子高一樣。」王僧虔父親是王曇首，官至右光祿大夫。有一回王曇首兄弟的各個子孫在一起會集，王弘的兒子王僧達下座到地上跳躍遊戲，王僧虔當時才幾歲，卻獨自正兒八經地坐在那裡采蠟燭上的珠子製作鳳凰。王弘說：「這孩子早晚是要做大官的。」
王僧虔還不到二十歲時，就養成了弘厚的性格，而且善於寫隸書。宋文帝看到他書寫的白絹扇面，讚歎說：「不僅墨跡超過了王子敬，而且器度高雅更勝一籌！」任命南齊書王僧虔為秘書郎，太子舍人。僧虔平時謙退而不大與人交接，只和袁淑、謝莊關係比較投機。轉任義陽王文學，太子洗馬，遷任司徒左西屬。
他的哥哥王僧綽，被太初「皇帝」劉邵所害時，親人賓客都勸僧虔逃避一下。王僧虔則流著淚說：「我的哥哥他為國家忠貞不渝，對我慈愛非常，他今天被害，我只恨不能見他一面。如果能和他同歸九泉，那便好比成仙升天一樣呀！」孝武帝初年，王僧虔出任武陵太守。他哥哥的兒子王儉在路上生了病，僧虔為此廢寢忘食。同行的賓客都來勸慰他。王僧虔說：「當年馬援用同樣的感情對待兒子和侄子，鄧攸對待弟弟的兒子更超過自己所生，我的心情和他們相同，與古人的確沒什麼不同。王儉是我死去的哥哥的後代，不應有任何忽視。如果此兒不得救治，我便要回舟辭職，哪還有興致出來做官啊！」後來王僧虔被調回京城任中書郎，轉任黃門郎，太子中庶子。
孝武帝有心在書法界獲得名譽，王僧虔便不敢顯露自己的墨跡。大明年間(457～464)，他常常故意用拙筆書寫，因此才得到孝武帝的容留。後來僧虔出任豫章王劉子尚的撫軍長史，遷散騎常侍，又任新安王劉子鸞的北中郎長史、南東海太守，行南徐州事，這兩個蕃王都是皇上心愛的兒子。
不久，王僧虔遷豫章內史。入朝任侍中，遷任御史中丞，領驍騎將軍。世家大族向來大多不任中央官長，王氏的分枝居住在烏衣巷一帶的，官位也都有所減降，僧虔做此官後，說：「這本是烏衣諸郎坐的地方，如今我也可以試試了。」後來又去做侍中，領屯騎校尉。泰始年間(465～471)，出任輔國將軍、吳興太守，待遇等級相當於二千石。王獻之擅長書法，曾在吳興郡任職，後來王僧虔擅長書法，也來吳興任職，這事成為美談。
後來王僧虔又移任會稽太守，待遇還是兩千石，將軍之職也仍舊。中書舍人阮佃夫家在會稽，請假回來家中。王僧虔的賓客們考慮到佃夫在朝廷正當大紅大紫的時候，勸僧虔應該加禮接待他。王僧虔說：「我的為人有自己一貫操守，豈能曲意奉承此輩人物？如果他要對我表示不滿，我便拂衣而去就是了。」後來阮佃夫果然在宋明帝跟前說了王僧虔的壞話，讓御史中丞孫..奏劾說：「王僧虔以前在吳興任上，就有過許多錯誤行為，現經調查在他到會稽上任後，凡用功曹五官主簿以至二禮吏署三傳及收留的弟子，總共有四百四十八人。又允許民人何系先等一百一十家為舊門。應責承當地州里核實予以削減。」王僧虔因此而被免去官職。
不久，王僧虔以白衣的資格兼任侍中，出監吳郡太守，又遷任使持節、都督湘州諸軍事、建武將軍、行湘州事，繼而轉任輔國將軍、湘州刺史。在他所任職的地方，人們都稱道他的寬惠。巴峽一帶的流民很多跑到湘州境內，王僧虔便上表請求朝廷把益陽、羅、湘西三縣沿江一帶的人民劃分出來，成立湘陰縣，獲得批准。
元徽年間(473～477)，王僧虔升任吏部尚書。高平檀皂罷了沅南縣令之職，僧虔讓他做征北板行參軍。他向僧虔請求增加俸祿沒獲允許，便給僧虔寫信說：「五常之始，文武是首先因素，文可以經天緯地，武可以撥亂定國。我們家族雖然在文上頭已經不行了，但武上頭正是發達時期。我們家族的姑叔中，有三人和皇室有婚姻關係，我的祖輩和兄弟行中，也是二世為國獻身，然而竟致於子侄餓死於鄉間野地。去冬今春，連連接到兩次指示，我既然朝中無人幫我說話，便只能屢次遭受跌降。四五個月來，我上書了十二次，上訪了六七回，不僅不蒙照顧，反而更加困頓。既然所有的事物都有個公平原則，那麼就不應只叫一個人受苦；我忍饑挨餓已經很久了，饑虎餓麟，如果不發威發急，誰會給它們食物呢？可是我去年請求做豫章丞，被馬超爭去了；今年被安排到南昌縣，又讓史偃奪去了。這兩個人只不過靠著其上人的勳蔭被提拔而已，有什麼長處能勝過我？如果是由於貧富的差別而剝奪了我，那我自然是不如他們。然而我現在雖然孤微，但祖上以來也是累世國士，婚姻官位，也不比誰差多少。尚書同堂姊是江夏王妃，檀皂的同堂姑為南譙王妃；尚書的夫人是江夏王女兒，檀皂的祖姑乃是長沙景王之嬪；尚書的伯父曾任職江州，檀皂的祖父也曾任職江州；尚書的從兄初登官為後軍參軍，檀皂的父親一起家就做中軍參軍。我和尚書，雖然人地懸遠，但說到家族婚宦，則沒什麼區別。如今雖然我和你一個困頓一個通達，但我們還屬於同一性質的人物，尚書你何必讓我過不去呢？泰始初年，天下叛逆蜂起，我們一門二代，都是捨生忘死保衛主上的，這樣的殊勳異績，不能破格提拔也就罷了，為什麼連正常的晉陞渠道也被壓抑了呢？」王僧虔回信說：「征北板行參軍這職位近年來還是個好缺兒，殷主簿就是由此府進入高位的，後來何儀曹代替殷主簿，也沒聽說他叫苦。您長期委屈，想一下子越級提拔，也是不容易的。您家祖、兄在泰始初勤苦了十年，尚沒得到當時的封賞，而現在要求兌現，也是很難如願的。我和您素無怨憾，為什麼要南齊書和您過不去呢？相反，我還是想幫助您的呢。」檀皂又寫信來說：「當年荀公達是漢代的功臣，而晉武帝還為他玄孫封爵。夏侯..是魏代的勳佐，晉初也就提拔了他的孫子，給予封賞。羊叔子由於在晉泰始年間獻計伐吳，到了咸寧末年，也被褒寵，封賞了他的兄子。卞望之在鹹和初年為國捐軀，至興寧末年，還被提高禮節待遇等級，子孫被加官。蜀郡主簿田混，黃初末年為故君之難而死，鹹康年間才提拔他的子孫。這些似乎都不是因為世代久遠而被棄置，也不是因為年頭疏隔而遺忘。檀皂我什麼樣的災病都碰上了，真是造化罕比，多次有親屬喪命無力下葬，一家近百口度日維艱，存亡難保，我原不過只希求一點點俸祿，無意於高官顯榮。自古以來就有沐食侯，近代也有王官。而府佐並非沐食之職，參軍也不合王官之稱。我自謂不是個笨蛋，因而羞於被掛起來不被實用。殷、何二人，一個和府主關係特別好，一個是有朝廷意旨，怎麼可以和一般常人相提並論。假如讓我就任此職，尚書您能轉任我為郎官麼？如果我每天能得五升祿米，我也就可以心安理得幹下去了。」王僧虔於是任用檀皂為安城郡丞。檀皂是宋安南將軍檀韶的孫子。
王僧虔不久加官散騎常侍，轉任右僕射。升明元年(477)，遷任尚書僕射，不久轉任中書令，左僕射。升明二年，任尚書令。僧虔喜愛文史，精通音律，當時正是太祖(蕭道成)輔政，王僧虔看到朝廷禮樂多與正統典範不合，民間又競造新聲雜曲，便上表說：「懸鍾等樂器，應該發揮雅正的功能，而凱容之禮制，應當依照八佾的儀式。如今皇家樂舞，音樂和服飾都不正確。另外歌與鍾都一樣隨便，只求和女樂和諧，其實是注重歌唱，這樣鍾便失去了雅樂樂器的意義了。大明年間，便開始用懸鍾來配合《革卑》、《拂》，雖然節奏相合，但其功能已經和《雅》樂意義相背，將來的知音者，恐怕要有聖世之譏了。如果認為鍾和舞已配合和諧了，雖然和一向的規矩不同，但可以另立歌鐘，不依舊例。那麼四縣所演奏的樂舞，也應謹依《雅》的規範，這樣即義沿理，大體還說得通。又，現在的《清商》，實在是從魏的銅爵時開始的，三祖的風流，遺者盈耳，後來經京、洛的互相爭高，到了東晉就更加被重視。然而我以為金石干羽之類樂舞，是不應用於私室的，而桑、濮、鄭、衛之音，一向都是不能進入官面的，而就《清商》之曲說來，如今再也沒有中庸和雅的意味超過它的了。然而隨著人情的改變，人們的音樂欣賞也發生了變化，漸漸又開始衰落，十多年來，差不多失去一半了。近來人人都在競制新聲，崇尚謠俗，只追求音節急促新奇，不顧及傳統的音樂原則，這樣流蕩沒有限制，不知何日是個盡頭。它們排斥雅正的樂曲，崇尚繁富和婬靡。士人有士人的等級規矩，無故是不能撤去音樂的；禮有禮的秩序，年長者和年幼者是不能同聽一個樂曲的。所以這種噪雜粗鄙的作品在民間日益盛行，那麼正統的典雅音樂就會從官員和文化人那裡消失。應當指示有關部門，勤奮工作，搜集整理遺失的雅正音樂，不斷地公佈出來，如有遺漏，都要修補完整。對那些整理樂曲完全的人，應給予優厚的俸祿，對那些樂藝精妙的人，應給予較好的地位。用利益刺激，人們就願意下功夫。這樣或許能夠返本還原，繼承往古。」這個建議被採納了。
建元元年(479)，王僧虔轉任侍中，撫軍將軍，丹陽尹。建元二年，晉陞左衛將軍，他堅決辭讓不接受。改任左光祿大夫，侍中、尹等職仍舊。郡縣的監獄中一直沿用的辦法中有一種是用中藥的湯劑殺死囚犯，王僧虔上疏皇上說：「藥湯本是用來救病的，現在有人用它來實施暴行，甚至有人用它來洩私忿。如果犯人罪當重刑，則國家自有正當的刑法；如果說為了治病用醫也應事先啟奏上頭。豈有死生大事，由下面偷著處理的道理？我以為給囚犯治病，必須先打報告向郡裡請示，找有關負責人和醫生共同會診確認；偏遠的縣份，則由家人來省視後，再作處理。這樣可以使死者不恨，生者無怨。」皇上採納了這個建議。
王僧虔一直留心雅樂，升明年間他所奏請的辦法被採用後，雖然稍有改變，但還有很多遺失。當時皇上開始想和鄰國互通使節，王僧虔給其兄長之子王儉寫信說：「古語講『中國失禮，問之四夷』。我想音樂也應如此。苻堅失敗後，東晉開始備置金石之樂，因此可知不能一筆抹殺嘛。北國也許有遺存的音樂，即使不能立即拿來補中原華夏音樂的缺失，只要能知道其存亡情況，也是合乎上述道理的。但《鼓吹》過去有二十一曲，如今所能演奏的僅十一首而已，我以為北去的使節可能會搜集到些散佚的音樂，所以現在應從音樂機關裡找一個大體能分別異同的人，充當北去使節才是。雖然延州難追，但他能得知他所知道的，也應有所不同。如果你認為我這話有道理，不知能否把此意轉呈皇上？你可以考慮一下。」此事後來沒能成。
太祖也長於書法，直到做皇帝以後，仍然酷愛不已。有一次和王僧虔比賽後對他說：「誰是第一？」王僧虔說：「臣下我為第一，陛下您南齊書也為第一。」皇上笑道：「你真算是善於為自己謀劃了。」於是拿出十一帙古人書跡給王僧虔看，並讓王僧虔開列擅長書法的人名。僧虔又從民間獲得了十一帙中沒有的十二卷奏上，他們是：吳大皇帝、景帝、歸命侯所書，桓玄所書，以及王導丞相、領軍王洽、中書令王珉、張芝、索靖、衛伯儒、張翼。又呈上羊欣所撰寫的《能書人名》一卷。
這年冬天，王僧虔遷任持節、都督湘州諸軍事、征南將軍、湘州刺史，侍中仍舊。僧虔為官清簡，無所欲求，也不經營財產，老百姓很安寧。世祖(蕭賾)做皇帝後，王僧虔由於患風疾打算上表請求解職，正趕上皇上任他為侍中、左光祿大夫、開府儀同三司。有一回，王僧虔和少年時代的朋友隨從及宗族人相聚會，有客人相面說：「僧虔爵位最高，官可以做到三公，其他人都趕不上呢。」後來果然被授予三公，僧虔對兄子王儉說：「你在朝中受到重任，不久將會享受三公一級的待遇，我如果再接受這個職位，一門中便有二個高級大臣，實在可怕呀。」於是堅決辭讓不接受，皇上特別照顧允許了他的請求。改任他為侍中、特進、左光祿大夫。賓客中有人問他堅決辭讓的動機，王僧虔說：「君子擔心的是沒有德行，而不是擔心沒有寵幸。我衣食滿足，榮位已過，只慚愧平庸淺薄沒什麼好報答國家的，豈能再接受更高的爵位，在官職上遭人指罵呢？」兄子王儉作為朝廷宰臣，建造長梁齋，規模稍有過分，王僧虔看了就不高興，怎麼也不進他的門，王儉便立即將此齋拆除了。
永明三年(485)，王僧虔去世。僧虔對星象也很精通，那天夜裡他坐在那兒看到豫章上空的星域顯示該發生事故，當時他的兒子王慈正做豫章內史，僧虔便擔心他會在公事方面有麻煩。不多時，僧虔便去世了，王慈便放下郡裡的工作回來奔喪。王僧虔死時六十歲。朝廷追贈他為司空，侍中仍舊。謚號為「簡穆」。