祖瑩，字元珍，范陽遒人。曾祖祖敏，在慕容垂政權中任平原太守。太祖平定中山，賜給他安固子爵位，拜授尚書左丞。死後，朝廷贈他為并州刺史。祖嶷，字元達。因為從駕出征平原的功勞，晉爵為侯，位至馮翊太守，死後朝廷贈他為幽州刺史。父親祖季真，很熟悉前言往事，官至中書侍郎，卒於安遠將軍、巨鹿太守任上。
祖瑩八歲，便能誦讀《詩經》、《尚書》，十二歲，為中書學生，刻苦好學，不分晝夜地讀書，父母擔心他會讀出病來，想制止他這樣做但卻不行，他經常在炭灰之中藏著火種，趕走書僮僕人，父母睡覺之後，用衣服遮住窗戶，以防止光線漏出去，被家人發覺。由此他的聲譽更高了，內外親屬都叫他為「聖小兒」。祖瑩尤其喜歡寫文章，中書監高允每每讚歎說：「這青年富有才識，不是其他學生能趕得上的，他一定會有大出息的。」
當時中書博士張天龍講授《尚書》，選他為都講。學生們都來了，祖瑩晚上讀書太勞累了，竟不知天亮了。上課時間已到，忙亂中祖瑩誤把同房學生趙郡的李孝怡一本《曲禮》拿到講台上去了。博士十分嚴厲，祖瑩不敢回去換書，於是只好把《曲禮》放到案桌上，念誦《尚書》文三篇，竟不漏一字。講完之後，孝怡覺得很奇怪，查明原委，就向博士說了這件事，惹得學中師生，大為驚奇。後來高祖聽說此事，召他入內宮，要他誦背五經章句，並講述大義，皇帝驚歎不已。祖瑩出去之後，高祖開玩笑地對盧昶說：「過去流放共工的幽州北邊荒涼地方，怎麼會冒出這樣的孩子來？」盧昶說：「當是才為世而生。」祖瑩以才學名聲被任命為太學博士。征授司徒、彭城王元勰的法曹參軍。高祖對勰說：「蕭賾以王元長為子良法曹，今天我為你任命祖瑩，這豈不可以與之匹敵了嗎？」命祖瑩為彭城王元勰幕府書記。祖瑩與陳郡的袁翻齊名秀出，當時人編了一首歌謠說：「京師楚楚，袁與祖；洛中翩翩，祖與袁。」又遷任尚書三公郎。尚書令王肅曾經在衙門裡吟詠一首《悲平城詩》，詩說：「悲平城，驅馬入雲中。陰山常晦雪，荒松無罷風。」彭城王元勰很是為其文辭優美所嗟歎，想讓王肅再吟，可是語出差錯：「王公您吟詠情性，詞語聲律，都特別優美，是不是可以再吟一遍《悲彭城詩》。」王肅一聽，開玩笑說：「怎麼《悲平城》變成了《悲彭城》了。」元勰頓時臉紅。祖瑩當時在座，就說：「有《悲彭城》，只不過是王公您沒有見過。」王肅說：「能否讀來聽聽。」祖瑩應聲誦讀：「悲彭城，楚歌四面起；屍積石樑亭，血流睢水裡。」王肅聽罷，很是驚歎。勰也大為高興，回來對祖瑩說：「當時你定是神口。今天若不是你，我非得被吳子所屈不可。」
祖瑩任冀州鎮東府長史，因賄賂一事敗露，被除名。後來侍中崔光推薦他為博士，仍領授尚書左戶部職。李崇以都督身份北征，引瑩為其長史。因軍資被人截沒，又被除名。沒多久，任散騎侍郎。孝昌年間，在廣平王府第挖得古代寶印，皇帝下詔讓祖瑩與黃門侍郎李琰之辨別為什麼時候的東西。祖瑩說：「這是于闐國王在晉朝太康年間獻給皇上的禮物。」於是用墨塗字驗看，果然像祖瑩所說那樣，當時人稱他為博物多識的專家。累遷國子祭酒，領給事黃門侍郎，幽州大中正，監察記錄皇帝起居事，又監督朝議事宜。元顥來到洛陽，任祖瑩為殿中尚書。莊帝還宮，因他替元顥起草詔書，列舉..朱榮罪狀，免官。後來，朝廷又提拔他為秘書監，中正官職如故。因他參加討論律歷，朝廷賜他爵位容城縣子。因事被囚廷尉獄中。前廢帝升任他為車騎將軍。當初，莊帝末年，..朱兆入洛陽，軍人焚燒掌音樂的官署，鐘石管弦等各種樂器，無一倖存。皇帝令祖瑩與錄尚書事長孫稚、侍中元孚掌管製造各種樂器，三年就製造完成，具體情況記在《樂志》。升為車騎大將軍。等到出帝登基，祖瑩以太常行禮，被封為文安縣子。天平初年(534～535)，都將遷鄴，齊獻武王就此事召見祖瑩討論。因功遷升儀同三司，晉爵為伯。逝世，朝廷贈他為尚書左僕射、司徒公、冀州刺史。
祖瑩以文學為世人所重，他常對人說：「文章必須自出匠心，成一家風骨，怎能道別人可以說出的呢？」大概這話說的是世人喜歡剽竊他人文字，以作己用的現象。祖瑩的文章，也不是沒有天才的火花，只是不能調整統一，玉石都有，剪裁功夫，卻不如袁、常二人。祖瑩性情豪爽，氣節很高，士人有什麼麻煩事，托命於他，他必然會盡力相救，當時人也因此誇獎他。祖瑩的文集流行於世。子祖王廷，字孝征，襲其爵位。