金岳霖的一生，在他的道德文章之外，最為世人所津津樂道的無疑是他對林徽因的戀情。
其實，在老金的人生中，有緣的女人並不止林徽因一人。在美國留學時，他就很替中國男人爭光，和一個金髮碧眼的美國女孩秦麗琳處上了，後來，金岳霖回國時，秦麗琳也隨他回到了中國，金岳霖在清華執教時並沒有住校，而是在北京城裡和秦麗琳搞同居。徐志摩曾描寫過金岳霖與秦麗琳初到北京時的窘相。
不過，金岳霖和秦麗琳最終並沒有走向中西合璧，據說秦麗琳「倡導不結婚，但對中國的家庭生活很感興趣，願意從家庭內部體驗家庭生活」。也就是說，兩人在一起更像在做一個科學實驗，後來實驗完成了，兩人的關係也就結束了。
另外，在老金晚年，還有一段差點就走上紅地毯的經歷，對象是彭德懷的小姨子浦熙修。上個世紀50年代末，民盟組織在京中央委員學習，學習期間，同組的金岳霖與浦熙修對上了眼，金岳霖經常邀請浦熙修到家裡品嚐廚師老王的手藝，兩人的感情迅速升溫，眼看就要到談婚論嫁的地步了。然而，天有不測風雲，彭德懷在廬山會議上被打倒了，在那個婚姻與政治如影隨形的年代，老金不得不慎重考慮。再加上這個時候浦熙修也身患癌症，很快便臥床不起了，他們才沒有走進圍城。
「文革」時夫妻大難臨頭各自飛的現象實在太多了，身為光棍的金岳霖反而成為很多人羨慕的對象。但金岳霖從來不覺得獨身是件好事，他經常鼓勵那些單身的弟子們：「誰先結婚，我就給誰獎賞！」有一次，他詢問弟子周禮全的婚姻問題，周禮全開玩笑地說：「曾經滄海難為水，除卻巫山不是雲。」金岳霖馬上嚴肅地反駁道：「你應該說『山重水復疑無路，柳暗花明又一村』。」
當然，在金岳霖生命中，份量最重的女人莫過於林徽因。
出身名門、才貌雙全的林徽因無疑是當時許多男人的夢中情人，徐志摩即使跟陸小曼結婚後仍然對她念念不忘，據說徐志摩最後乘坐那架失事的飛機正是為了到北京聆聽林徽因的演講。
不過，徐志摩對林徽因的感情更像是單相思，那些小說和電視劇中的情節很多都是演義的性質。倒是林徽因和金岳霖之間，有過一段實實在在的相知相戀。
說起來，金岳霖認識林徽因還是徐志摩介紹的。梁思成和林徽因從美國學成歸來後，先是到東北大學任教，後又來到北平的中國營造學社工作。在北平時，梁氏夫婦位於北總布胡同3號的家很快成為知識界精英們聚會的熱點場所，幾乎每週都有文化沙龍。在好友徐志摩熱情的引薦下，同樣美國留學出身的金岳霖很快成為梁家的上賓。
在長久的交往中，美女加才女、氣質超凡脫俗的林妹妹讓老金神魂顛倒，而多才多藝、幽默風趣、天真爛漫且極具紳士風度的金岳霖很快也贏得了林徽因的青睞，二人開始由「意合」進而不知不覺地「情投」起來。
據梁思成的續絃林洙女士回憶，有一天梁思成回家後，林徽因哭著對他說：「我苦惱極了，我同時愛上了兩個人，不知怎麼辦才好。」林徽因說這話時一點兒也不像一個妻子對丈夫說話，倒像個小妹妹在請哥哥討主意。
林徽因梁思成聽完之後非常苦悶，當晚他徹夜未眠。第二天，他把自己的想法告訴了妻子：「你是自由的，如果你選擇了老金，我祝願你們永遠幸福。」林徽因把梁思成的話轉告金岳霖，老金回答：「看來思成是真正愛你的，我不能傷害一個真正愛你的人，我應該退出。」
從那以後，三個人成為了終身的好友，在某種程度上可以說是成了親人。1932年，在徐志摩去世後，金岳霖乾脆把家搬到北總布胡同3號「擇林而居」，梁氏夫婦住大的前院，老金住小的後院，前後院都單門獨戶。老金說：「一離開梁家，就像丟了魂似的。」
金岳霖這樣做並沒有讓梁思成心裡產生芥蒂，他們彼此之間都以一種君子坦蕩蕩的態度相處，甚至梁思成和林徽因吵架，也是找金岳霖來做「仲裁」，他們相信教哲學的老金一定比較理性和冷靜。
善良幽默的老金的存在，給梁氏夫婦的生活帶來了很多樂趣。有一次，老金突發靈感，寫了一付對聯送給夫婦倆：樑上君子，林下美人。「樑上君子」本是貶義，但梁思成是搞古建築研究與保護的，經常要在屋頂測量，他不僅不以為忤，還高興地說：「我就是要做『樑上君子』，不然怎麼能打開一條新的研究道路，豈不是紙上談兵了嗎？」倒是林徽因對讚譽之詞並不領情：「什麼美人不美人，好像一個女人沒有什麼可做似的。我還有好些事要做呢！」金岳霖聽了，大為佩服，連連鼓掌。
「七七」事變後，金岳霖和梁氏夫婦先後來到了昆明，老金在西南聯大任教，梁氏夫婦繼續經營他們的中國營造學社，在多數時間內他們仍住在一起。抗戰勝利後，老金和梁氏夫婦返回北平，三人在清華大學成了同事。終身不娶的金岳霖(字龍蓀)與清華園中另外兩個著名的單身漢陳岱孫和葉企孫並稱為「清華三蓀(孫)」。
在金岳霖和林徽因的心中，始終有一份柏拉圖式的情感存在，但他們以禮相待，讓心中那份情感成為彼此生命中最美好的守望，心有靈犀而不在乎是否擁有。遺憾的是，命運多舛，1955年4月1日，林徽因因為癌症去逝，終年51歲，金岳霖也失去了自己最摯愛的精神伴侶。
老金除了養雞之外，還喜歡養蟋蟀，早年他養蟋蟀是為了鬥蟋蟀，但是晚年他告訴學生自己養蟋蟀是為了聽它們的鳴聲。可以想像，夜深人靜之時，蟋蟀們節奏分明的鳴叫聲從老金房屋的一隅發出，為那靜寂的屋子增加了幾分生氣。可惜，蟋蟀永遠沒有辦法像林徽因那樣理解金岳霖。
在林徽因的追悼會上，有許多親朋好友送的輓聯，但最令人矚目的無疑還是出自金岳霖的手筆：一身詩意千尋瀑，萬古人間四月天。「四月天」取自林徽因一首詩的題目《你是人間四月天》，四月天是人間最美好的季節，斯人已去，但是她存在的每一寸時光都是金岳霖人生中最美好的季節。
林徽因死後多年，有一天金岳霖突然把一些至交好友請到北京飯店，沒講任何來由，眾人納悶不已，不知道老金葫蘆裡賣的什麼藥。酒過三盞之後，金岳霖突然站起來，舉杯道：「今天是林徽因的生日。」聞聽此言，在座諸公無不潸然淚下。
1972年，梁思成也在「文革」中去逝。金岳霖晚年與梁氏夫婦的兒子梁從誡、兒媳方晶、孫女梁帆生活在一起，直至去世。梁從誡和方晶一直稱老金為「金爸」，梁帆則叫他「金爺爺」，三代人的故事至此終於成了一個傳奇。