王玄載字彥林，是下邳人。祖父王宰，做過偽北周太守。父親王蕤，曾任東莞太守。
王玄載最初任官是做江夏王國侍郎、太宰行參軍。泰始初，任長水校尉。跟隨張永出征彭城，中央軍大敗，王玄載率全軍據守下邳城抵抗敵虜，被任命為假冠軍將軍。當時官軍剛失敗，心情恐駭，朝廷考慮到王玄載在士民中很有些威望，便行文任命他為徐州刺史、持節、監徐州、豫州、梁郡軍事、寧朔將軍、平胡中郎將，不久又領山陽、東海二郡太守。泰始五年(469)，任督青、兗二州刺史，將軍、東海郡的職務仍舊。泰始七年，又任徐州刺史，督徐、兗二州軍事、鍾離太守，將軍、郎將等仍舊。遷任左軍將軍。又被任命為寧朔將軍、歷陽太守，改任持節、都督二豫、冠軍將軍、西戎校尉、梁、秦二州刺史。後進號征虜將軍。不久又移督益、寧二州、益州刺史、建寧太守，將軍、持節等仍舊。
沈攸之反叛時，王玄載率部起義向太祖表示忠誠，被進號為後軍將軍，封為鄂縣子。後調任散騎常侍，領後軍，他沒上任，建元元年(479)，擔任左民尚書，仍舊為鄂縣子爵。趕上北虜有所動作，南兗州刺史王敬則逃回京師，皇上派王玄載領廣陵太守，加平北將軍、假節、行南兗州事，本官仍舊。事件平定後，被任命為光祿大夫、員外散騎常侍。永明四年，擔任持節監兗州沿淮一帶諸軍事、平北將軍、兗州刺史。永明六年，去世，年六十六歲。謚號為「烈子」。
王玄載喜歡談玄說理，講究士人操行，在梁、益一帶很有清譽和政績，西州之人至今還很懷念他。
本史作者認為：劉宋政權將要滅亡的時期，天下離亂的苗頭便越來越明顯，人們都各懷心思，許多人想參與逐鹿奪權，因而遠蕃岳鎮，地方州郡，為積聚兵力觀察局勢提供了機會。以上這幾個人都是宿將舊勳，當時和太祖蕭道成一起都是朝廷的重臣，年紀和地位略有高下不同，有的人還是先輩。但他們對太祖都是在身旁能忠誠服侍，在萬里能舉義響應，由此可知太祖的確是深受人們的擁戴和民眾的歸心的。王玄載兄弟門人和隨從們，世代心懷誠烈，而不被道家所忌，這也算是當今的耿氏了。
贊語：劉懷珍在「報馬」事情上，首先表現出大義來，其子靈哲的守孝讓爵，也可與丁、韋比德了。李安民任命東土，他的謀略很合乎天機。王玄載推行清政，他的德風至今不衰。