垣崇祖字敬遠，是下邳人。族姓豪強，石虎的時代，從略陽遷徙到鄴。其曾祖垣敞，曾任慕容德偽吏部尚書。祖父垣苗，在宋武帝征討廣固時，率部下歸降，便在下邳安家，官至龍驤將軍、汝南、新蔡太守。父親垣詢之，為積射將軍，宋孝武帝時為國捐軀，贈冀州刺史。
垣崇祖四歲時，就很有才能和謀略了，他的伯父豫州刺史垣護之對宗族人說：「這孩子必將使我們門戶大發光彩，你們都趕不上他。」刺史劉道隆聘請崇祖做主簿，待遇很優厚。後被任命為新安王國上將軍。景和時期，劉道隆請求出任梁州，並啟稟皇上要求轉任崇祖為義陽王征北行參軍，與道隆同行，被派還下邳召募人馬。
(宋)明帝即位後，道隆被誅。薛安都反叛時，明帝派遣張永、沈攸之北討，薛安都使其部將裴祖隆、李世雄佔據下邳。祖隆招崇祖來共同抗戰，正趕上有青州援軍主將劉彌之背逆歸降，祖隆的士卒沮喪敗北，崇祖和親近數十人夜救祖隆，並和他一起逃回彭城。敵虜既攻陷了徐州，崇祖仍為虜率領遊兵在琅笽一帶，不能回來，虜也不能制約他。崇祖暗中派人到彭城迎取其母，打算南逃，事情敗露，虜便扣住其母作人質。崇祖的妹夫皇甫肅的兄婦，是薛安都的女兒，故此虜很信任皇甫肅。皇甫肅便帶著家屬和崇祖的母親逃往朐山，崇祖於是帶領部下佔據了朐山，並派使者歸順朝廷。太祖(蕭道成)當時在淮陰，便行文任命垣崇祖為朐山戍主，並把他的母親送到京城，明帝接受了。
朐山靠近海邊，形勢孤險，人心未安。崇祖便經常在水邊浮以舟舸，如遇緊急情況便可以乘船入海。軍中有得罪的將領叛逃，把情況都報告了虜方。虜偽囗豕城都將東徐州刺史成固公剛得了青州，聽叛者之說，便派步兵騎兵二萬人襲擊崇祖，兵駐洛要，離朐山城僅二十里。崇祖當時送客人還沒回來，城中驚恐，都下到船上準備入海去。崇祖回來，對心腹說：「賊方剛才來，本不是要大舉進攻，只是要證實一下叛者所說的情況，很容易迷惑。現在如果有百餘人回來，事情就好辦了。但人心一害怕，便不能集中。你們趕緊到離此二里外處大叫而來，高叫『艾塘義人已攻破敵虜，正等著戍軍速往，相助逐退』。」船中人聽了果然大喜，又爭相上岸，崇祖帶領他們入據城上，把老弱之人都送到島上。又令人持著兩個火炬登上山頭，擂鼓呼叫。虜方參騎以為這邊軍備甚盛，於是退去。
垣崇祖上啟明帝說：「淮北一帶的士民，受胡虜所蹂躪，人心嚮往南方，日夜盼望得到解救。我的父親、伯父都曾在淮北州郡任職，我們垣氏的門族分佈在北方邊境一帶，老百姓對我們懷有信任，一旦號召起來，就可以成就事功。不過我現在名位還輕，不足以威服眾人，我請求朝廷借給我名號，我也好對遠近之人發號施令。」明帝便任命他為輔國將軍、北琅笽、蘭陵南齊書二郡太守。逃亡分子司馬從之來襲擊郡城，被垣崇祖抓住砍了腦袋。他還多次獻計獻策，打算克復淮北。
這時虜方聲言要寇掠淮南，明帝便向崇祖詢問怎麼辦？崇祖啟稟說：「最好是輕兵深入，打他個出其不意，這樣進可以建立奇勳，退可以讓他們死了這條心。」明帝批准了他的方案。垣崇祖帶領數百人深入敵境七百里，佔據南城，鞏固蒙山，號召郡縣。虜方率大軍前來攻打，崇祖的別將梁湛母親被虜方扣著，虜方把梁母綁了來，要梁湛對部下說：「大軍已去，我們還留在這有什麼用！」於是人心動搖，一下子都逃退了。崇祖對左右說：「今天我們要是全退了，一定都沒好結果。」於是留在後頭和敵人大戰，終於把追兵打得大敗而回。朝廷考慮到崇祖長期勞苦有功，封他為下邳縣子。
泰豫元年(472)，垣崇祖主管徐州，把防守點改在龍沮(在朐山南)。崇祖上啟皇上要求放水進入平地，用來阻擋虜方的馬匹，明帝徵求劉懷珍的看法，懷珍說可以。崇祖便率將吏堵河水(提高水位以便放水)，不成功。虜主帥對偽彭城鎮將平陽公說：「龍沮若是弄成了，簡直是我國的恥辱，拚死也要爭過來。」於是率數萬騎兵包抄上來。垣崇祖的馬和槊都陷在戰陣中無法對抗，只好退回來築城自守。正趕上老天下雨一連十多日，敵虜只得退去。不過龍沮最後也沒弄成。後來垣崇祖又任盱眙、平陽、東海三郡太守，將軍之職仍舊。轉任邵陵王南中郎司馬，又任東海太守。
當初，垣崇祖在淮陰碰上了太祖(蕭道成)，太祖看他很武勇，就待他很友好。崇祖對皇甫肅說：「這個人才真正是我們的君主啊！我今天算是碰上真主了！正是所謂千載一時呀！」於是便暗中表現忠誠。元徽末年，太祖有憂慮，便令崇祖接受指示，把家小托付給皇甫肅，帶領數百人將入虜境，等待命令。趕上廢除蒼梧王，太祖便召崇祖率領部下回京來，授他為游擊將軍。
沈攸之事件平定後，垣崇祖被任命為持節、督兗、青、冀三州諸軍事，先後遷任冠軍將軍、兗州刺史。太祖做皇帝後，對崇祖說：「我剛剛統治天下，夷虜不懂得天命已經歸我，必然會興師動眾，以送劉昶為借口前來擾亂。而賊方的第一個攻擊目標必然是壽春。而能夠對付他們的，非你莫可。」於是崇祖移任使持節、監豫、司二州諸軍事、豫州刺史，將軍仍舊。封為望蔡縣侯，食邑七百戶。
建元二年(480)，虜方派遣偽梁王郁豆眷和劉昶，率騎兵步兵號稱二十萬人，來寇壽春。垣崇祖召集文武人員商議說：「敵眾我寡，只能出奇制勝。應當修築外城以待敵，城既廣闊，沒有水便不堅固，現在準備築堰肥水，然後把城淹成三面之險，諸位認為怎樣？」眾人說：「當年佛狸入侵，宋南平王士卒充足，由於郭大難守，便退保內城。今天的情形，難度十倍於前。自古以來守此城者之所以不築肥水之堰，都是考慮到地形不便，積水也沒用呀。如果一定要這樣，恐怕不會合適的。」崇祖說：「你這是只見其一，不識其二。如果放棄外城，賊方必然佔據著，他們可以外修樓櫓，內築長圍，而我們四周沒有屏障，表裡受敵，這等於自己坐等著被擒。因此，守郭築堰決策已定，不允許任何人諫阻！」於是在城西北立堰堵塞肥水，堰北又築起小城，周圍挖掘深塹，使數千人在那兒守著。崇祖對長史封延伯說：「敵虜心貪而欠考慮，必然全力攻打小城，企圖破壞此堰。看到此塹狹城小，便以為可以一戰而克，便會像螞蟻一樣圍著攻打。我放水一激，水急超過三峽，等他們無處逃奔時，便自然沉溺水裡。這豈不是小勞而大利麼？」虜眾由西道集中在堰南，分軍從東路肉搏攻小城。垣崇祖頭戴白紗帽，乘肩輿上城，打著手式指揮。到天黑時，便扒開了小史埭。水奔瀉而下，敵虜攻城之眾，漂附到塹中，淹死數千人，剩下的都退去了。
當初，崇祖在淮陰，見了皇上(蕭道成)便自稱是韓信、白起，別人都不信，只有皇上稱許他，崇祖便再拜接受他的指示。等到破虜的啟文送到京師，皇上對朝臣們說：「崇祖曾答應為我對付敵虜，果如其言。他一向自比韓信、白起，今天看來真不愧是啊！」於是進崇祖為都督號平西將軍，增封食邑為一千五百戶。崇祖聽說陳顯達、李安民都增加了軍儀，便上啟皇上要求鼓吹橫吹。皇上說：「韓信、白起怎麼能不特別優待呢！」於是配給他鼓吹一部。
垣崇祖考慮到敵虜還會來寇掠淮北，便請示皇上把下蔡戍區移到淮東。這年冬天，敵虜果然要攻打下蔡，聽說內移了，便聲言要蕩平下蔡城故城。眾人以為敵虜會在故城建立據點，崇祖說：「下蔡離我的鎮所近在咫尺，敵虜豈敢設立據點；他們其實是要除去故城。我正擔心他們逃走不能讓我把他們斬盡殺絕呢。」虜軍果然來掘平下蔡城，崇祖親自率眾渡過淮河與敵決戰，大破敵人，又追殺數十里，殺死和俘虜了數千人。
皇上派的使者入關瞭解敵情回來匯報了崇祖的戰況，皇上下敕給崇祖說：「你看我是那種只守江東一隅的君主麼？我現在最缺的南齊書是糧食，你只管給我努力經營田地，到時候自然會把殘敵收拾了。」指示崇祖整治芍陂一帶田地。
世祖(蕭賾)即位後，調崇祖任散騎常侍、左衛將軍。不久又下詔讓他留在本任上，加號安西將軍。隨後遷任五兵尚書，領驍騎將軍。當初，豫章王有盛寵，世祖做太子，崇祖並不主動去巴結。後來破虜，世祖詔他還朝，並與他密議，便開始懷疑他，於是對崇祖特意禮待，酒後對崇祖說：「外邊有些流言，我也乾脆挑明了，從今以後，我的富貴就指望你了。」崇祖拜謝。崇祖走後，皇上又派荀伯玉口頭傳達命令：由於邊地有事，要他連夜出發，不得和太子辭別。世祖便以為崇祖心不誠實而懷恨在心。太祖死後，世祖怕崇祖有異心，便調他回來任職。永明元年(483)四月九日，下詔說：「垣崇祖凶詬險躁，少無行業。過去由於軍國麻煩很多，便讓他出些武力。隨著皇運上升，他也不斷受到提拔封賞，但他貪得無厭。去年在西邊，和外國勾結，其無君之心，已昭然若揭。但朝廷對他特別優待，希望他能改悔。豈料他野心更甚，要謀反作亂，又與荀伯玉同謀不軌，企圖互為表裡、內外呼應。這些罪狀已由寧朔將軍孫景育調查清楚，報告了皇上。除惡要除根，垣崇祖罪在不赦。殺了後便把他埋掉，以嚴肅法紀。」死時四十四歲。兒子垣惠隆，被流放到番禺，死在那裡。