王儉字仲寶，是琅笽臨沂人，祖父曇首，曾任宋的右光祿。父親王僧綽，官至金紫光祿大夫。王儉出生時，其父遇害，叔父僧虔收養了他。過了幾年，他便襲封爵位為豫寧侯，受封的時候，王儉流涕嗚咽。
王儉幼時便很有神采，專心篤學，手不釋卷。丹陽尹袁粲知道了他的名聲，便說給宋明帝，明帝便把陽羨公主許配給王儉，拜官駙馬都尉。皇上因為王儉的嫡母武康公主參與了太初年間的巫蠱事件，不能享受公主的婆婆的名義，要開墓分葬，王儉便通過有關人士向皇上自陳，並暗中以死請求皇上，這事才算過去。
起初王儉任秘書郎，太子舍人，破格提拔為秘書丞。他上表請求校閱古代典籍，仿照《七略》撰寫《七志》四十卷，上表獻給皇上，此表的辭采非常典雅。又撰定《元徽四部書目》。母親去世，王儉服喪結束後被任命為司徒右長史。依照《晉令》，公府長史要穿朝服，宋大明以來穿紅衣服。王儉上書說應該恢復舊規矩，當時討論沒被通過。
蒼梧王暴虐，王儉很憂懼，便向袁粲要求出京做地方官，援引晉新安公主婿王獻之為吳興太守的先例，王儉被補為義興太守。後還朝任黃門郎，轉任帶吏部郎。升明二年(478)，遷任長兼侍中，他考慮到父親最後一任也是這個職務，堅決辭讓了。
王儉察知太祖(蕭道成)為人雄異，便先做了太祖領軍府的衣裾，太祖任太尉後，便援引王儉為右長史，恩禮隆重而且親密，受到專門任用。轉任左長史。後來皇上授太祖太傅之職，也是王儉活動的結果。王儉少年時便有做宰相的抱負，人們在談論時也都很推許他。當時即將舉行禪位大典，王儉佐命，所有禮儀詔策，都出王儉之手，褚淵只寫了禪詔文，還讓王儉參與修改。齊王府開始設置建制時，王儉遷任右僕射，領吏部，當時才二十八歲。太祖曾從容對王儉說：「我現在要以青溪為鴻溝。」王儉回答說：「天應民從，但願不要有楚、漢爭鬥之事。」建元元年(479)，改封王儉為南昌縣公，食邑二千戶。次年，轉任左僕射，領吏部之職仍舊。
皇上拆掉了宋明帝的紫極殿，用它的材料建宣揚門。王儉與褚淵及叔父王僧虔連名上表諫止說：「我們認為德是立身的基礎，儉是行走的車船。晉代將建春台時，公卿們都發議論，漢代要造北宮時，大臣們都來規勸。這二個君主，一個是列國常侯，一個是守文中主，尚且能夠樂於接受諫諍，何況陛下是聖哲天子呢。我們這些人的責任重大，願意就以前的詔令，發表點意見。陛下自從登基御宇以來，簡約節省的品德已經照耀天下了。外面建造的乾華殿，樸素簡潔，而現在要用紫極殿的舊材料來建宣陽門，我們便有些弄不明白了。我們覺得把心病轉到胳膊腿上來，這不是良醫的高明；害怕影子腳印便發足奔跑，也不是獲得安靜的方法。況且農活正忙，田園事多，現在反而停下爭取豐收的勞動，來大興土木之役，這不是宣揚您的偉大品德所該做的。如果說門在宮南，屬於重陽之處，年月稍久，漸漸破舊的話，這只要適當修理調整一下就行了，不必大事改作。如果我們的建議有道理的話，就請付諸施行。」皇上手詔表示採納並予以獎賞。宋朝時京城的外六門設有竹籬，這年初，有人挖到了白虎樽，傳說「白門三重門，竹籬穿不完」。皇上鑒於這話，要改建都牆。王儉又諫止，皇上答覆說：「我要讓後世無以復加！」當時朝廷初奠基，一切制度都在草創之中，王儉懂得舊事，問無不答。皇上曾感歎說：「《詩》中說：『維岳降神，生甫及申。』現在上天也為我生了一個王儉呀！」
就在這一年，王儉上表請求解除他的吏部職務，表中說：「臣下我考察了古代的身邊的君臣關係，發現沒有誰能像我這樣得到陛下如此的恩幸。為什麼這樣說呢？子房碰到漢後，公達逢著魏君，史書上都當作美談，君子們都稱頌他們的高義。二臣都懷有王佐之才，受到這樣的待遇也不是什麼偏愛，而兩位君主專權威武，未免不夠寬裕，怎麼能夠和平常之人，到寬弘大量的對待，同日而語呢？這些我都銘記在心，感戴莫名，即使讓我傾家喪命，只要能對陛下有一丁點兒益處，我也應該盡力驅馳，報答萬一，豈能允許有一絲兒形飾，碌碌無為？至於選拔各類人才合理任用，這乃是風教的首要工作，玉石朱素，都要同此判定。我不是說我的工作沒有一點毛病，但我品裁評定，的確是不曾懈怠。雖然我自南齊書己很努力，但由於識力有限不能稱意，如果再讓我這樣不合適地幹下去，彼此都會被壅塞；如果讓我專心於本職工作，那還差不多能夠勝任。況且前代掌管選辟工作，未必其在代來，為什麼現在，非我不可呢？我這傾心為國，並不是什麼退讓，既然我們關係休戚相聯，難道需要用地位和職務才能表明親密麼？陛下如果不能根據這個道理滿足我的願望，那麼我以後就不敢再希望得到您的特別愛護了。頻頻冒犯您的威嚴，甘願受到您的懲處。」皇上答應了。加王儉侍中，他堅決辭讓，又恢復了他的散騎常侍之職。
皇上舉行私宴招待幾個大臣，讓大家各獻技藝。褚淵彈琵琶，王僧虔彈琴，沈文季唱《子夜》歌，張敬兒跳舞，王敬則表演了空中接刀的雜技。王儉說：「臣下我什麼也不通，只知道背誦書本。」於是跪在皇上跟前背誦司馬相如的《封禪書》。皇上笑道：「這是盛德君主的事情，我哪裡擔當得起。」後來皇上讓陸澄背誦《孝經》，從「仲尼語」誦起。王儉說：「陸澄真是所謂博而寡要，我請求背誦。」於是背誦了《君子之事上》章。皇上說：「很好！現在更覺得張子布沒什麼稀奇的了。」
不久王儉便以本官領太子詹事，加兵二百人。皇上駕崩，在遺詔中任命王儉為侍中、尚書令、鎮軍將軍。世祖即位，配給王儉班劍儀仗二十人。永明元年(483)，王儉進號衛軍將軍，參掌選事。永明二年，領國子祭酒、丹陽尹，本官仍舊。配給鼓吹一部。永明三年，領國子祭酒。叔父王僧虔去世，王儉上表請求解職，皇上不批准。又領太子少傅，本州中正，解除丹陽尹。按照舊規定太子敬待二傅是一樣的，到這時朝廷中討論對待少傅用賓友之禮。
這一年，精簡了總明觀，在王儉的宅第裡開學士館，把四部書全都充實到王儉家來，又詔王儉以家為府。永明四年(486)，以本官領吏部。王儉長於禮學，精通朝儀，每次大討論，引證先儒言論，沒有人能比過他。入坐丞郎，沒有誰能說別的。令史來諮事，賓客滿席，而王儉應接評判，毫無留滯。十天到學館一次，監試學生，滿院子的讀書人，劍衛令史，儀伏排列，場面十分盛大。王儉還設計了解散髻，斜插幘簪，朝野羨慕，互相效仿。王儉經常對人講：「江左風流宰相，惟有謝安。」言下之意自己就像是謝安那樣的風流宰相。世祖對王儉非常信賴，選拔官員，王儉只要奏請沒有不批准的。
永明五年(487)，世祖讓王儉即本號開府儀同三司，王儉堅決辭讓。永明六年，又重申前命。此前，皇上詔王儉三日一還朝，尚書令史出外咨詢事情，皇上考慮到這樣太麻煩，又詔王儉回到尚書下省，每月只有十日出外接受諮詢。王儉請求解除自己在吏部的職務，皇上不批准。永明七年，又上表說：「臣下我近年來要求辭去在吏部職務，要說的陛下也都知道了，有關原因也在您身邊多次陳述，我的赤誠朝野都曉得，人們在談論時也沒說什麼不好，可是陛下您就是不答應。我聽人說過智慧還不如明時，這話正像是針對我說的一樣。像我這樣愚妄平庸之人，無足取用，只是趕上了好機會，遂登上了高位。然而樹葉該落了，不必借助風力；太陽該昏暗了，不必等待螢燭的光亮。暗的去明的來，五德交替運行，聖人不是孤立地治理天下，八元一齊放射光輝。我適逢其時，叨得其位，經常總管重要部門，並且負責吏部工作。已經經歷了兩朝十年。如今人也老了，後輩們也長大了。人物遷移，逝者將半。也沒能選擇到優秀人才和突出官員。我活著時算不了能官，死後還會招來《大車》之譏。至於珥貂衣袞等禮儀方面的問題，四輔六教等文教方面的工作，雖然自知不很勝任，但只要精簡了我的職務，即使責任重大，我還是可以勉力而為的。至於品評人物選擇人才，我最害怕堵塞了人才的道路。雖然我夜以繼日殫精竭慮，多次嘗試，都不成功。我佔據這個職位歲月之久，近世很少有人能比。不僅自己滿懷愧悔，而且還要影響到國家。如今滿朝人物，群才爭妍，可以經過廣泛選拔授以此職，自古以來便是如此。我冒犯威嚴陳述這些，希望皇上一定要給予體諒。至敬無文，我就不敢多寫了。」皇上批准了。改領中書監，還參與吏部的一些工作。
就在這一年，王儉生病了，皇上親臨探視，去世時才三十八歲。吏部尚書王晏在啟文中說到了王儉的喪禮問題，皇上答覆說：「王儉年富德盛，志用正隆，豈料暴疾，未有及時救護，便忽然去世，讓我痛酷彌深。艱難的時期，他離開了我們，但他的情義我們永遠不忘。想來悲切，不能自勝。痛苦又有什麼辦法呀？他去了又能有什麼辦法呀！」下詔命衛軍文武官員及中央機關各部門軍隊儀仗一律停止活動等待舉行葬禮。
又下詔說：「慎終追遠，是歷朝歷代的通規，褒德紀勳，更是嚴格的常策。已故侍中、中書令、太子少傅、領國子祭酒、衛軍將、開府儀同三司、南昌公王儉，體道秉哲，風宇淵曠。從少年時代起，便清譽遠揚。登朝任職以後，更是萬民矚望。皇業初創時期，他就參與奠基，又協助君主發展和鞏固政權；南齊書宏偉的謀略盛大的功德，都將載入史冊刻銘勒石。後來協助我統治天下，功績卓著。他的忠誠和美德，都是光輝的榜樣。文化教育莊嚴肅穆，百官政務有條不紊。他是令人景仰的大臣，我們對他一直懷有深厚的感情和重大的期望。正當他正位論道，不斷糾正帝王的職責，輔弼大化，襄贊隆平之時。可惜天命不延，忽焉逝世，這讓我心靈震慟。特追贈王儉太尉，侍中、中書監、公等職爵仍舊，賜給符節，加羽葆鼓吹，增加班劍儀仗為六十人。葬禮比照已故太宰文簡公褚淵的先例辦理。塚墓棺奢由官家營辦。謚號為『文憲公』。」
王儉沒什麼嗜欲，一心撲在國務上，車馬服裝都很樸素，家中沒有留下什麼錢財。他的著作手跡，很受當時人看重。少年時撰寫《古今喪服集記》並文集，都在世間傳播。當今皇上受禪，下詔為王儉立碑，降爵為侯，食邑千戶。
本史作者認為：褚淵、袁粲都接受了宋明帝顧命之托，袁粲既已為劉宋死節，而褚淵便經常受到世人的指責。請讓我來討論一下這個問題：湯、武的行為，是和堯、舜、伊、呂的心思很不一樣的，也不同於稷、契。除了這些人，其他人的風範就不足為證了。自從金、張世族，袁、楊鼎貴，於是盡忠服義，都由漢氏來決定，華美的文詞受到重視，便起於這個時代。魏氏君臨天下時間短促，沿用前代。也養成了後朝。晉氏登上皇位，跟著干的那幫人，名義上雖說是魏臣，實際上已屬於晉氏，所以主位雖改，臣任如初。從此世祿之盛，已習慣為老標準，而羽儀之隆，也受到人們的羨慕，君臣之節，徒有虛名。貴仕素資，皆由門慶，平流進取，坐至公卿，於是便知殉國的感情是有根據的，而保家的念頭最應關切。於是天下迅速變革，寵貴才能到手，陵闕雖然不同，看上去如同一樣。中行、智伯，未有異遇。褚淵在泰初時期王業初運時，清正的前途已經顯現，數年之間，不愁沒有地位。既然是由於民望所歸而被引用，當然也可以因民望所歸而離開他(宋氏)。給人的爵祿很輕，而要人長期為自己效力，用恩不專，卻要人為自己拚命，這便是做君主的共同誤會，也是一般人的不足。
贊語：褚公呀褚公，你的道德早已內充。人們的評價雖然不一致，但你的家道照樣興隆。輔世主從容不迫，留下的話柄你可以不聽。文憲呀文憲，你有美好的風儀和輔相的資質。你稱述霸業王道，理順了各種典禮。兩朝君主都對你寄以厚望，你贏得了宮廷上下的深情厚意。