顧憲之字士思，是吳郡吳縣人。顧憲之不到二十歲，被州里任命為議曹從事，推舉為秀才，歷任太子舍人、尚書比部郎、撫軍主簿等職。元徽年間，任建康縣令。當時有人偷了他人家的牛，被牛的主人認出來了，偷牛者說這牛是自己的，兩家都有證據，兩任縣令都不能斷決此案。顧憲之到任後，放下狀詞，對兩家主人說：「不要多說，我知道了。」下令把牛繩解開，任牛自己隨便走，結果牛徑直回到主人的家裡，偷牛者才認罪。每每發現姦情找出隱情，多像這樣，當時人稱他為神明。對有權有勢的人有罪請人說情，官吏貪污殘暴，都依法懲治，從不包庇。為人清廉節儉，勤政奉公，得到民眾的擁護，所以京城喝酒的人喝到好酒，就稱為「顧建康」，意思是說其為政如酒色清醇，味道甜美。
後又任車騎功曹、晉熙王友。齊高帝執掌政權時，顧憲之任驃騎錄事參軍，遷任太尉西曹掾。齊台建立時，任中書侍郎。齊高帝即帝位後，任衡陽內史。在此之前，衡陽郡內連年發生瘟疫，有大半人死了，棺材特別貴，於是用草蓆包裹死屍丟在路旁。顧憲之從車上下來，分別告訴所在的縣官，尋找死者的親屬或族人，埋葬死者。有的人家全部死亡，顧憲之便拿出公款讓綱紀營辦理喪事。原來舊俗，活人有病就說是他們的祖先在作祟，都挖開墳墓，打開棺蓋，用水沖洗死者的屍骨，意思是除去鬼祟。顧憲之傳下命令通知各地，活人與死人是有區別的，疾病與死人無關，這一風習才改掉。當時刺史王奐剛到任，只有衡陽縣沒有訴訟案件，便感歎地說：「顧衡陽教化民眾極好。若九郡都像他一樣，我還有什麼事情可做呢！」
又升任太尉從事中郎，出任東中郎長史、行太稽郡事。山陰人呂文度受到齊武帝的寵信，在余姚建了官邸，橫行鄉里，很霸道。顧憲之到任後，就上表請求罷黜他。呂文度後來回家安葬他的母親，郡縣官民爭相前去弔唁，顧憲之對此不聞不問，呂文度很忌恨他，但最終也不能傷害他。又改任中郎巴陵王長史，加封建武將軍，代理婺州郡守。當時司徒竟陵王在宣城、臨成、定陵三縣交界處設屯墾地，封鎖山林河湖幾百里，禁止人民砍伐、捕魚，顧憲之堅決反對，言詞很直。竟陵王回答他說：「不是您，我聽不到這樣的好建議。」於是下令取消禁令。
又改任給事黃門侍郎，兼尚書吏部郎中。劉宋時，他的祖父顧覬之曾在吏部做官，在庭院中栽了棵樹，對人說：「這樹是為顧憲之種的。」到現在顧憲之果然做了吏部的官。出京任征虜長史，代理南兗州郡守，碰上母親死了。守喪完畢，建武年間，又任給事黃門侍郎、步兵校尉，沒有正式授任，又改任太子中庶子，任吳縣中正。出京任寧朔將軍、臨川內史，未到任，改任輔國將軍、晉陵太守。不久生病，上書請求離職，回到家鄉。永元初年，征闢為廷尉，沒有授任，任豫章太守。有一位貞婦叫萬..，年輕時守寡沒有小孩，對公婆很孝敬，她的父母想強迫她改嫁，她寧死也不同意。顧憲之賞賜給她五匹絲帛，表揚她的貞操。
中興二年(502)，義軍攻佔建康城，高祖任揚州郡守，徵召顧憲之為別駕從事史。後來，高祖登皇帝位，顧憲之的病也慢慢加重，堅決要求回老家吳縣。天監二年(503)，在家裡授任太中大夫。顧憲之雖多次任郡守，家裡積蓄的米粟不多，回鄉後，居房狹小簡陋，受凍挨餓。八年(509)，在家中死去，終年七十四歲。