上黨剛肅王高渙，字敬壽，神武帝第七子。姿容雄俊，灑脫不拘。雖是孩童，就十分自信長大後能領兵打仗。因此神武時常誇獎他，也很喜歡他，說：「這個兒子像我。」長大了，力大無比，才能超群。他常對身邊的人說：「人不能沒有知識，但也不需要像博士那樣博學。」所以讀書只求知道個大概，而不多下功夫。
元象年中，封平原郡公。文襄帝遭寇賊，高渙年紀還小，正在讀書，聽到宮中喧嘩，吃了一驚，說：「大哥遇難了！」箭上弦，很快就衝出門去。武定年末，拜冀州刺史，有很好的政績。天保初，封上黨王，曾任中書令、尚書左僕射。還同常山王高演等人指揮伐惡諸城的築建。之後聚集鄴城，輕佻浮薄，侵犯郡縣，被法司糾舉。文宣帝殺掉了他的幾個手下，他也受到了責罰。六年，率軍護送梁王蕭明返回江南，攻破東關，斬殺梁朝的特進裴之橫等人，於是威名大振。八年，錄尚書事。
早些年，術士稱亡高氏者為黑衣，從此之後，神武每次出行，都不想見沙門，是因為沙門身穿黑色的衣服。是時，文宣帝駕臨晉陽，向近臣詢問神武的忌諱，說：「什麼東西最黑？」答：「漆。」帝認為這正好與渙是第七子的「七」吻合，就打發庫真都督破六韓伯升前往鄴城召渙。走到紫陌橋，渙殺死伯升後逃跑，渡過黃河，即被當地人捉住，解送到文宣帝那裡。文宣帝把他裝在鐵籠裡，和永安王高浚一起放進了地牢，關了一年多，同高浚一塊被處死，死時只有二十六歲。文宣下令其妃李氏改嫁馮文洛，文洛過去是帝家的奴僕，因軍功做到了刺史官，帝派文洛等人誅殺高渙，是這樣的緣由他才能娶李氏為妻。
乾明元年(560)，收高渙高浚遺骨安葬，贈司空，謚號剛肅。敕書令妃李氏回王宅。文洛不忘舊恩，修飾打扮後去看李。李排列左右僕人，帶著文洛站在台階下，數落說：「遭難流離，乃至大辱，妾志操寡薄，不能自殺，幸得恩詔，才歸王第。你是哪家的奴僕，還想來羞辱我嗎？」命令手下將其杖打一百，打得文洛遍體鱗傷。高渙沒有嫡生兒子，河清二年(563)，庶出的長子寶嚴襲爵，位至金紫光祿大夫、開府儀同三司。