幼主名恆，後主的長子。母親穆皇后。幼主武平元年(570)六月生於鄴城。這年十月，被立為皇太子。
隆化二年(577)春正月初一，即皇帝位，時年八歲，改元為承光元年，大赦，尊皇太后為太皇太后，帝為太上皇帝，後為太上皇后。在此時期，黃門侍郎顏之推、中書侍郎薛道衡、侍中陳德信等勸告太上皇趕往河外募兵，再作打算，如果不能成功，則南投陳朝。太上皇聽從了他倆的建議。初三，太皇太后、太上皇后從鄴動身先赴濟州。周師漸漸地迫近了。初九，幼主從鄴城向東逃走。十五日，周師佔領紫陌橋。十九日，焚燒鄴城西門。太上皇帶領著百多名侍從往東逃竄。二十一日，渡河跑入濟州。其日，幼主禪位於大丞相、任城王皆，令侍中斛律孝卿送禪位文和璽紱到瀛州，孝卿卻帶著這幾件東西投奔了周朝。帝又為任城王下詔，尊太上皇為無上皇，幼主為守國天王。留太皇太后在濟州，派高阿那肱留守。太上皇及皇太后攜帶著幼主逃跑到青州，隨從者有韓長鸞、鄧..等幾十人。太上皇剛到達青州，就考慮著投奔陳朝的時間、路線。高阿那肱勾引周軍，約定好了活捉齊主的計劃之後，就多次派人赴青州報告，說賊軍停留在很遠的地方，並且下令燒燬了橋樑、截斷了要道。太上皇聽報，投陳的準備工作也就遲緩了。想不到周軍突然殺至青州，太上皇窘急，打算逃遁於陳，將裝著金子的口袋捆紮在馬鞍的後邊，同長鸞、淑妃等十幾騎跑到青州南部的鄧村，被周將尉遲綱捕獲，解送至鄴，周武帝以賓主之禮接待了他們，接著連同太上皇和太后、幼主、諸王一塊護送到長安。周封幼主溫國公。建德七年(578)，誣陷幼主和宜州刺史穆提婆等人謀反，株連到高延宗等少長幾十人，全被賜死。神武子孫在世的，這時只有一兩個人了。到大象末年，陽休之、陳德信等人啟奏大丞相隋公，請求收葬幼主等人，得隋公批准後，葬埋於長安北原的洪瀆川。
帝幼時美善，長大後，學習作文，設置文林館，招引文士。但後主言語遲鈍，缺少風度，不喜歡同朝士見面。除非是十分親近的侍人或愛寵者，他是不輕易與人交談的。性情極為懦弱，別人多看他幾眼，馬上就會發怒斥責。向其奏事，即使是三公令錄，也不能抬頭看視，都是述說一個大概，趕忙連逃帶跑地退出。每逢遭受災害變異、寇賊強盜、洪水旱災，不行賑濟，只在宮中設齋戒，以此為修德。相信巫覡，祈禱無方。
早些年琅笽王舉兵動亂，報告的人誤說成厙狄伏連反叛，帝糾正道：「一定是仁威。」斛律光死後，很多武官認為高思好勝任大將軍，一致推舉他。帝說：「思好反覆無常。」都是一語中的。這樣，帝自以為策無遺算，於是越發驕奢縱放。繁多地演奏無愁的曲調，帝親自撥彈琵琶而唱和，隨同合唱的文官武將及其近侍以百計。人們稱之為「無愁天子」。曾經出門遇見不喜歡的人，不眨眼地殺了他們，甚至剝掉人的臉皮觀察。
委任陸令萱、和士開、高阿那肱、穆提婆、韓長鸞等執掌天下，陳德信、鄧長..、何洪珍等參預機密。這些人各引親黨，拔居高位，賣官鬻爵，收賄受賄，盤剝民眾，行私舞弊，無法一一列舉。各宮的奴婢、宦人及商人、胡戶、雜戶、歌舞人、見鬼人胡亂地得富貴者有近萬人。異姓封王的以百數。開府千餘，儀同無數。領軍一時二十，連續判決文書，各寫一「依」字，不簽上姓名，不知是誰人所為。追贈貴寵們父祖的官爵，一年晉陞一次，到最高位的時候才作罷。
宮掖中的婢女都被封為郡君，宮女寶衣、玉食者五百餘人，一裙價值萬匹，一鏡台值千金。競為侈靡，朝衣夕敝。繼承了武成帝的奢麗，還認為帝王這樣做是理所當然的事情。更進一步地增建宮苑，修築「偃武修文台」，其嬪妃則各在宮中造鏡殿、寶殿、王毒瑁殿，丹青雕刻，富麗當時。又在晉陽建十二院，號稱鄴下第一。喜愛卻不能持久，經常是數毀數復。深夜用火照明，強迫勞作，嚴寒時用熱水合泥，致使百工困窮，無法休息。在晉陽西山鑿巨石為大佛像，一夜之間，就燒乾了萬盒燈油。又為胡昭儀建大慈寺，還沒峻工，改為穆皇后大寶林寺，窮極工巧，運石填泉，花費以億計，累死的人、牛不可勝記。其騎坐之馬，供給十餘種食物，廄中鋪著毛氈。公母將要交配之時，便讓人搭蓋青廬，廬中擺設精美食品供養神靈祈禱，帝則親臨現場臂看。以珍貴的食物養狗。馬、鷹、犬之類還有儀同、郡君的封號，如「赤彪儀同」、「逍遙郡君」、「凌宵郡君」，這是高思好書寫的所謂「馬交龍、逍遙」。鬥雞也有封為開府的，犬馬雞鷹多食縣干。豢養的鷹，慢慢地割狗身上的肉飼養，直至狗死。
又在華林園建貧窮村莊，帝親自穿著破衣裝扮成乞丐。又設置窮兒之市場，專門跑去進行買賣交易。還仿照西部邊境城邑的樣式築造鎮戍，讓人穿著黑衣扮成羌兵，擺成陣勢，吶喊著進攻，帝則親自率領近侍抵禦，有時則真的用箭射人。從晉陽出發往東巡幸，卻單馬驅馳，敞開胸懷、披散頭髮而歸。
又喜好不急之務，曾在一夜之間找尋蠍子，到天快亮時才捉獲三升。帝特別喜愛非時之物，求取火速，必須是朝征而晚上就要辦好，當權者乘此機會，貸一而求十。賦斂一天比一天加重，徭役一天比一天繁多，致使人力枯竭，帑藏空虛。無可奈何之下，又准許其佞幸賣官，有人因此得到兩三個郡守，有人得到了六七個縣令，瓜分州郡，下至鄉官也可以接受到朝廷的敕書，所以就有敕令為州主簿的，敕令為郡功曹的。這樣一來，州縣官吏之職多被富商大賈壟斷，他們競相貪污，極力搜括，使得民不聊生。從鄴都到各州各郡，以各種各樣的名目徵收賦稅。形形色色的力役，從武成開始不斷出現，到後主時又增益了許多。不過，婬穢之事幾乎沒有，只有這一點比武成帝強。
早些年，也就是河清末年，武成夢見大刺蝟攻破了鄴城，因而大索境內的刺蝟，想絕滅這種動物。有見識的人認為後主的名字「緯」與「蝟」同音，是亡齊的徵兆。又婦人都喜歡剪掉頭髮戴上假髻，假髻的形狀似飛鳥，面朝南方時，髻心卻指著正西。從宮中傳出之後，一直在境內流行，好像天意在說：「元首剪落，危難之時當跑入西邊。」又打制刀子的人都喜歡把刃口打得又狹又細，還名之為「盡勢」。兒童遊戲時愛用雙手握著繩子，繩子落地時雙腳跳起，一邊跳一邊唱「高末」。高末之語，大概指的是高氏的世運快要結束了———亂亡的命數是有徵兆的。