山濤字巨源，河內懷縣人。父親山曜，是宛句縣令。山濤早年喪親，家中貧困。少年即有器量，獨立不群。喜好《莊子》、《老子》，常隱居鄉里，掩蓋自己的志向才能。與嵇康、呂安為友，後又遇阮籍，常在一竹林中交遊，志趣契合，為莫逆之交。嵇康後來被治罪，臨死前對兒子嵇紹說：「有巨源在，你就不會孤獨無靠了。」
山濤年四十歲才進入仕途，為郡主簿、功曹、上計掾。被舉為孝廉，州里徵召為河南從事。曾與石鑒共宿，夜裡起來用腳踢一下石鑒，對他說：「現在是什麼時候，你還在睡！知道太傅司馬懿稱病臥床是何用意嗎？」石鑒回答說：「宰相三次不上朝，給他個尺把長的詔書讓他回家就是了，你何必操心呢！」山濤說：「咄！石生不要在馬蹄間來往奔走啊！」於是丟掉官吏用的信符走了。不到兩年，果然發生司馬懿殺死曹爽的事件。山濤遂歸隱不問世事。
山濤與司馬懿夫人宣穆張皇后是中表親，因而能見景帝司馬師，景帝說：「當今的呂望是想做官吧！」命司隸舉山濤為秀才，授郎中職。轉為驃騎將軍王昶從事中郎。很久以後，又拜為趙國相，遷為尚書吏部郎。文帝司馬昭給山濤寫信說：「足下任職清明，高雅之操超群出世。顧念家中貧乏，今送去錢二十萬，谷二百斛。」魏主曾賜景帝春服，景帝轉賜給山濤，又因山濤母親年老，賜給藜杖一根。
晚年與尚書和荄交友，又與鍾會、裴秀親近。因鍾、裴二人爭權奪利，山濤不偏不倚，處於中間，二人都從山濤那裡得到好處而對他無恨。後遷為大將軍從事中郎，鍾會在蜀作亂，文帝將西征。當時魏氏諸王公都在鄴，文帝對山濤說：「西邊的事我親自去處理，後方的事誠心委託於您。」以本官行軍司馬職務，撥給親兵五百人鎮守鄴。
魏元帝鹹熙初年(264)，封為新沓子。轉為相國左長史，統領別營兵。當時文帝認為山濤是鄉閭中素有德望的人，命太子拜見他。文帝將齊王司馬攸過繼給景帝，平時又看重司馬攸，曾問裴秀道：「大將軍開國建業，未成而亡，我只是繼承他的事業，故欲立司馬攸為太子，以歸功於兄長，怎樣？」裴秀認為不可。又以此事問山濤，山濤回答說：「廢長子立少子，違背禮制，是不吉祥的。國家的安危將由此事決定。」於是才定下司馬炎為太子。太子親自拜謝山濤。晉武帝司馬炎受魏主禪讓即位，任山濤為大鴻臚，護送陳留王到鄴。泰始初(265)，加奉車都尉，晉爵為新沓伯。
羊祜執政時，有人要陷害裴秀，山濤厲言正色保護裴秀，因此不合一些權臣之意，出任冀州刺史，加寧遠將軍。冀州風俗鄙薄，無推賢薦才之風。山濤鑒別選拔隱逸之士，查訪賢人，表彰或任命三十多人，都顯名於當世。山濤受到百姓士人的仰慕推崇，當地風俗也為之改變。又轉為北中郎將，督鄴城守備事。又入京為侍中，遷為尚書。因母老請求辭職，皇帝下詔說：「君雖心在奉養老母，然而職務有上下公私之分，家中早晚有人侍奉醫藥，君當暫割情愛，以興一心在公之德。」山濤決心退出官場，表疏上了幾十次，皇帝很久才答應了他的要求，授議郎職銜回府第。武帝因山濤清貧儉約，無法供養家人，特別供給每日膳食，加賜床帳被褥。禮遇厚重，時人莫能與比。
後任命為太常卿，因疾病沒有就職。遇母喪，回鄉里。山濤年過七十，守喪超過常禮，親自背土堆墳，親手植松柏。皇帝下詔說：「我所以行教化於天下，是靠授賢者以官職。當今風俗衰敗，人心尚於競進，應當分明善惡，以退讓之風鎮之。山太常雖在居喪，意志不可勉強改變，而當今國家任務繁多，怎能遂自己心願呢！現以山濤為吏部尚書。」山濤以母喪身病為由辭讓，表章情意懇切，遇元皇后死，勉強扶持還洛陽。為詔命所逼迫，勉強就職。前後薦拔的人遍及京師和州郡，都是有用的人才。
咸寧初(275)，轉為太子少傅，加散騎常侍，授尚書僕射，加侍中，領吏部。因年老有病，堅意辭讓，上表陳情。上章表數十次，很久沒有就職理事，左丞白褒奏山濤違詔。武帝說：「山濤因病自求辭職，只是沒有聽從他的要求罷了。如山濤用人不當而坐罪是可以的，何必上下動手，顛倒輕重呢？不得再追究此事。」山濤內心不安，上表謝罪說：「自古以來行王道者守正而已。陛下不能因為一個老臣而改變國法，臣有何心向皇上陳辭。請照白褒所上之表處置，以顯示不枉刑法。」武帝又下手詔說：「白褒所奏是虛妄的，我所以未追究他的責任，是我不喜歡動輒發怒，你是明智而有度之人，哪能介意呢！應當就職理事，不讓他們再上章表就是了。」山濤決心引退，因為堂弟媳發喪，就回外捨。皇帝下詔說：「山僕射近日暫時出居，因有所操勞而未還，這不是我坐側席而待賢的意思。現派遣丞掾奉旨告諭，若身體尚未康復，便坐輿車抬回府寺。」山濤辭讓不能獲准，才就職理事。
山濤再次任職十餘年，每逢官位有缺，山濤總選幾個備用的人，看到詔旨傾向於某一人，然後明言上奏，先將皇帝所想用的人提出，所以皇帝所想用的人，有時沒有先提出來，眾人不瞭解詳情，認為是山濤憑自己的意願用人。有人在武帝面前說山濤的不是，故武帝親手寫詔告誡山濤說：「用人的標準是有才，不遺漏疏遠孤賤而有才的人，教化才能行於天下。」而山濤還是照樣行事。一年以後，眾人的意見才平息。山濤所薦拔上奏的人物，列名成冊，當時稱《山公啟事》。
山濤在朝處於各派中間，晚年值楊皇后親黨專政，不願用楊氏，多次諷諫皇帝，皇帝雖領悟其意而不能改正。後來因年邁病重，上疏告退說：「臣年近八十，苟延殘喘於旦夕，若對國家還有毫末之益，怎能留餘力於盛世。迫於衰老，不能再負重任。當今四海無事，天下思從教化，從民心而行無為之政，百姓自能正己。只是應當崇尚風教以使民俗歸厚罷了，陛下又有何事可做。臣耳聾目昏，無力奮進。君臣父子之間無須掩飾，因而直陳愚情，望答應我的請求。」於是摘下帽子，赤腳徒步送還印綬。皇帝下詔說：「天下事還多，加之吳國初平，各項事業都處於草創階段，應當共同盡力以化成天下。君不識往日我留君之深意，而以小疾為由求退，這不是我希望於你的啊！朕猶坐於側席而待賢者，未得垂衣拱手而治天下，君何能引退而求高尚之名呢！應當倡導至公無私之心，不要再做那追求虛名的煩瑣之事。」
山濤上表苦苦求退，皇帝又下詔不許。尚書令衛馞上奏說：「山濤因有小疾，久不履職。頻繁下詔，還不服從詔命。朝中議論以為這樣不能成全他的高尚之節，也違背在職為公的要求。若山濤病情沉重，也不宜居官位。可免去山濤官職。」皇帝下詔給衛馞說：「山濤有德操，素為眾望所歸，而深心退讓，十分懇切。故連續下詔，必求改變他的主張，以匡扶朝廷，彌補缺漏。主事者不明詔書深意，反而加以曲解，這有損於崇賢之風，給我加上輕賢無德之名，怎能給遠近之人做出表率呢？」山濤不得已又就職理事。
太康初(280)，遷為右僕射，加光祿大夫、侍中，掌選如故。山濤因年老身病堅決要求辭職，皇帝親手寫詔說：「君之道德為世人楷模，況先帝已識君高遠之志。我將依靠你以使風俗淳厚，為何要捨棄朝政以求高名呢！我的至誠之心還不足以使你明白嗎？為何上表的言論是那樣懇切。應當及時自勉，以慰我深切之望。你不改變引退之志，朕將臥不安席。」山濤又上表堅意辭讓，皇帝不許。
平吳之後，武帝下詔罷除天下兵役，表示海內平安無事，州郡都解散軍隊，大郡設置武吏一百人，小郡設五十人。武帝曾在宣武場講武，山濤當時有疾，皇帝下詔乘坐人拉的輦車跟從。山濤當時與盧欽討論用兵之本，認為不應該廢除州郡武備，他的論點很精湛。當時人們都以為山濤雖不學孫、吳兵法，而其論兵暗與兵法合，武帝稱讚說：「真是天下之名言啊！」然而卻不能用。惠帝永寧(301～302)之後，多次發生事變，盜賊蜂起，各郡國都因無軍備而不能制止，於是導致天下大亂，果如山濤所言。
後拜為司徒，山濤又堅意辭讓，皇帝下詔說：「君年邁而德高，是朝中元老，因而授給君台輔之位，而君崇謙讓之遠名，反覆推辭，令我心中憂慮。君當堅持始終，輔助朕身。」山濤又上表說：「臣侍奉天朝三十餘年，對德政教化無毫釐功效。陛下私心愛臣不已，枉授三司之任。臣聞德薄而位高，力少而任重，則上有敗壞國事之禍，下有損傷家廟祖宗之咎。願陛下念累世君臣之恩，乞求骸鼻以歸故里。」皇帝下詔說：「君輔助朝政，保護治理皇家，匡扶之功，為朕所依賴。司徒之職，實掌國家教化，因而敬授予你，以滿足群臣百姓之望，怎能只顧謙讓而貶低自己呢！」武帝下令不准山濤再上章表辭職，使者把印綬交給臥病在床的山濤。山濤說：「將死之人，怎能玷污官府呢！」病臥輿車歸家。太康四年(283)死，終年七十九歲。皇帝下詔賜棺木朝服各一具、衣一套、錢五十萬、布百匹，以供喪事之用，策命追贈司徒蠟印紫綬、侍中貂嬋、新榻伯蠟印青朱綬，用太牢祭祀，謚號為康。將葬時，又賜錢四十萬、布百匹。左長史范晷等上奏說：「山濤舊宅第僅有屋十間，子孫多，容納不下。」武帝為山濤家建了住宅。
當初，山濤為布衣，家境貧困，對妻子韓氏說：「忍住饑寒，我以後當登三公之位，但不知你能做三公夫人否！」做高官之後，仍正派節儉，雖爵同千乘之君，不畜婢妾，俸祿賞賜，都散給親戚故人。
當初，陳郡袁毅曾為鬲令，性貪而行污，賄賂公卿而求稱譽。也送給山濤絲百斤，山濤不願拒受而異於人，便收下藏於閣樓上。後來袁毅的事被揭發，用檻車送京師廷尉受審，凡受賄的人都被檢舉。山濤就取出絲交給辦案的官吏，絲上積滿塵土，封條印章未動。
山濤飲酒八斗才會醉，武帝想試他的酒量，準備了八斗酒讓山濤喝，而暗地又添一些酒，山濤喝八斗就不再喝了。
山濤有五個兒子：山該、山淳、山允、山謨、山簡。