王祥字休征，琅王牙臨沂人，是漢諫議大夫王吉的後代。祖父王仁是青州刺史。父親王融，公府召他做官，未去就職。
王祥性情非常孝順。母親早死，繼母朱氏對他不慈愛，多次在父親面前說他的壞話，所以父親也不喜歡他，常使他打掃牛圈，王祥更加恭謹。父母有病時日夜伺候，不脫衣睡覺，湯藥必自己先嘗。母親想吃鮮魚，當時天寒冰凍，王祥脫下衣服，準備砸冰捕魚，忽然冰塊融化，跳出兩條鯉魚，王祥拿著鯉魚回去孝敬母親。母親想吃燒烤的黃雀，有幾十隻黃雀飛進王祥的帳篷中，王祥捉住傍母親吃。鄉親們對這些事感到驚奇而讚歎，認為是孝心感動天地，鬼神祐助的結果。王祥家有棵紅沙果樹結了果實，母親令王祥守護，每逢有大風雨，王祥總是抱住樹哭泣。他的孝心就是如此專誠而純正。
漢末天下大亂，王祥扶持著母親帶著弟弟王覽到廬江避亂，隱居三十多年，不受州郡的徵召。母親死時，王祥由於過分悲痛而致病，扶住閉杖才能站起。徐州刺史呂虔下公文召他做別駕，王祥已年近七十，堅決辭讓不就任。王覽勸說他，並給他準備了牛車，王祥這才應召，呂虔就把州里的政事委託給他。當時盜寇到處橫行，王祥率領並鼓勵士兵，討伐盜寇，盜寇被一一擊破。州內清靜無事，政令教化推行無阻。當時百姓編首歌唱道：「海沂之康，實賴王祥。邦國不空，別駕之功。」
後被薦舉為秀才，任溫令，多次陞遷，官至大司農。魏高貴鄉公即位，參與制定國策有功，封關內侯，拜光祿勳，轉司隸校尉。參與討伐毋丘儉，增封地四百戶，遷升太常，封為萬歲亭侯。太子到太學巡查，任命王祥為三老。王祥以師長的身份面向南坐，憑著几案，扶著手杖。天子面向北坐，向王祥問治國之道，王祥陳述明王聖帝君臣施政化民的要領，以訓導天子，聽的人也都受到激勵。
高貴鄉公被殺時，朝臣都為之哀悼，王祥大聲號哭說：「這是老臣的罪過啊！」涕淚交流，朝臣們都感到慚愧。不久，拜為司空，又轉為太尉，加侍中。魏實行五等爵位後，封為睢陵侯，食邑一千六百戶。
武帝司馬炎封為晉王，王祥與荀豈頁一起去會見他。荀豈頁對王祥說：「相國很尊，何曾已經向他行最重的禮，今日去見他應當下拜。」王祥回答說：「相國確實很尊貴，然而還是魏的宰相。我們是魏的三公，公與王相差不過一個等級，上朝時的班列也是相同的，哪有天子的三公動輒去拜人的道理？這樣會損害魏的威望，也有損於晉王的品德，君子愛護一個人應按禮行事，我不去拜他。」見到晉王時，荀豈頁立即下拜，而王祥只是作了個長揖。武帝說：「今日才知道先生是多麼看重我啊！」
武帝司馬炎受禪即帝位，王祥拜為太保，晉爵為公，府中可置七官。武帝新即位，虛心徵求直爽意見。王祥與何曾、鄭沖等有德望的老臣，希望再朝見，武帝派侍中任愷向四個老臣詢問朝政得失及急需解決的施政教化問題。王祥因為年老昏聵，多次請求退職，武帝不許。御史中丞侯史光認為王祥久病，不能按時朝會盡臣禮，請求免去他的職務。武帝下詔說：「太保德行高尚，是朕賴以興隆政教的元老。前後多次遜讓，朕沒有答應他的要求，這件事有司不得議論。」便把侯史光的奏書壓下來不作答覆。王祥堅決要求辭官回故里，武帝下詔同意以睢陵公的身份退居府第，地位和太保太傅一樣，在三司之上，俸祿賞賜和以前一樣。並下詔說：「古代的官員卸職，不適用於王侯，今太保雖以國公爵位留居京城，不宜再有朝見的勞苦。現賜給几案與手杖，不朝見，有大事派人到府第徵求意見。賜給安車駟馬，宅第一區，錢百萬，絹五百匹，及床帳席褥。將宮中舍人六名送給睢陵公作舍人，設置官騎二十人。以睢陵公之子騎都尉王肇為給事中，可以經常進府第省問。又因太保高潔清廉，家無宅第，暫且留住辟府，等所賜宅第建成後搬出。」
王祥病重的時候，寫了遺囑訓誡子弟說：「有生就有死，這是自然之理，我已八十五歲，死而無恨。不留遺言，使爾等無所遵循。我生在末世，被朝廷選用。任職多種，無護衛輔佐之功，死後無以報答。氣絕後只洗手足，不必沐浴，不要以布帛纏身，根據季節，穿平時洗過的舊衣服。皇帝所賜的山玄玉珮、衛氏玉..、綬笥等，都不要帶入墳墓。西芒山土質本來堅硬，不必用磚石砌，不要起墳壟。墓穴挖二丈深，槨只容棺即可。墓中不開前堂，不放几案，不置書箱鏡奩之類的用具，棺材前可以放張坐具就行了。干飯肉乾兒各一盤，薄酒一杯，早晚做祭奠用。家中大人小孩不必送喪，一週年兩週年的祭日，可用牛豬各一。不要違背我的意願！斑柴泣血三年，孔子認為是愚蠢行為；閔子騫脫掉喪服出見客人，彈琴表示哀痛，仲尼認為是孝。所以過分哭泣哀傷，會給自己帶來損害，飲食也要自己控制，適宜為度。言行經得起審查，這是信的最高要求；美則歸人，過則責己，這是德的最高標準；揚名顯親，是最大的孝；兄弟和順，宗族喜樂，是最好的悌；對待財貨的態度首先是讓，這五條是立身之本。顏子所以為夫子之命，原因也是這些。有些人是沒有認真想問題，值得傚法的榜樣並不少。」他的兒子都奉行了這些話。
泰始五年(269)王祥死，皇帝下詔，賜棺槨一副、朝服一套、衣服一套、錢三十萬、布帛百匹。當時文明皇太后死才過月。以後皇帝下詔說：「為睢陵公辦喪，事已過去。朕雖每每為他的死哀傷，但還沒有痛抒哀情。現在為他哭一場。」第二年，下詔追諡號為元。
王祥死時，奔喪的人不是朝廷賢臣，就是親戚故吏，門前無其他親人弔喪。族孫王戎感歎道：「太保可真算清達了。」又說：「王祥在正始時代，不是能說會道的那一類人，但和他交談時，他的話很有道理，又表現其清遠情操，這不是他的德掩蓋了他的言嗎？」王祥有五個兒子，王肇、王夏、王馥、王烈、王芬。