車胤，字武子，南平郡人。曾祖父車浚，做過吳國會稽太守。父車育，做過郡主簿。南平太守王胡之以知人聞名，見到童年時的車胤，對其父車育說：「這小兒將會光耀足下門戶，可使他學有專攻。」車胤勤奮不倦，博學多通。家中貧寒，常常缺少燈油，夏天夜裡用白色絲袋盛裝數十隻螢火蟲作照明讀書，夜以繼日。及至年長，風姿美妙，聰明機靈敏捷有智慧，在鄉里之間很有聲望。桓溫做荊州刺史時，召車胤為從事，因其善於辨析義理而特別器重他。引為主簿，後又遷為別駕、征西長史，於是顯名於朝廷。當時只有車胤和吳隱之是以貧寒博學知名於世的。車胤又善於賞玩集會，當時每有盛會而車胤不在，眾人都說：「沒有車公不快樂。」僕射謝安每逢游集之日，就擺設筵席恭候車胤。
寧康初年(373)，朝廷封車胤為中書侍郎、關內侯。孝武帝曾講解《孝經》，僕射謝安侍坐於旁，尚書陸納伴講，侍中卞眈伴讀，黃門侍郎謝石、吏部郎袁宏手執經書，車胤與丹楊尹王混選取文句，當時輿論把這看作是一種榮耀之盛事。車胤累遷侍中。太元年間(376～396)，朝廷增置太學生一百人，讓車胤兼任國子博士。其後第二年，朝廷討論郊廟明堂之事，車胤認為：「古代明堂的建制已很難弄清，況且樂的根本是和諧，禮的根本是恭敬，所以質樸與華美不同，音樂器具也兩樣。既然茅屋大廈尺度標準不一，那麼何必要遵守其形貌而不弘揚其根本順應時代呢？天下安定，四境逆賊盡滅，然後可以大修明堂大學了。」當時朝廷聽從了他的建議。車胤又遷職為驃騎長史、太常，晉封臨湘侯，因病離職。不久朝廷任命他為護軍將軍。當時王國寶奉承討好會稽王司馬道子，婉言勸說朝廷執事大臣上奏讓司馬道子做丞相，加以特殊的待遇。車胤說：「這是周成王尊崇周公用的禮儀。今皇上正壯年，非年幼的成王可比，在位的丞相會稽王，怎能做周公呢！聲望和實際不相稱，不宜如此，這樣做肯定大逆皇上的意願。」於是車胤稱病養身不辦理此事。王國寶等人的疏表奏上去後，孝武帝大怒，而特別嘉獎車胤。
隆安初年(397)，朝廷任命車胤為吳興太守，俸祿二千石，車胤稱病不受。朝廷封他為輔國將軍、丹楊尹。不久，改任吏部尚書。司馬元顯有過失，車胤與江績私下告訴司馬道子，準備向天子奏明，事情洩露，司馬元顯逼令車胤等人自裁。不久車胤身亡，朝廷非常痛惜。