1949年5月12日傍晚，我躺在難民船中興輪的甲板上，到了台灣。爸爸的老友張松涵到基隆碼頭來接我們，當晚搭夜車赴台中，半夜抵達，大雨中分坐人力車直赴西區模範西巷張家。天亮以後，和張松涵的兒子張仁龍、張仁園、張仁寧三兄弟試穿木屐走路，走得歪七扭八。那時候台中是貧窮的、淳樸的，台灣人窮得罕見誰有皮鞋穿，滿街都是日式木屐。
花了三台兩黃金，我們頂下模範西巷雲龍裡七十二號的日式房子。爸爸在日記裡寫道：
5月25日
1.日過田間風味的生活，每日鋤菜、購菜，如無經濟壓迫，亦亂世之桃源也。
5月29日
6.為琳（琤）各購草帽一枚（頂），小八見異思得，啼要不得，亦為購得一頂，小六欲要而不敢言，屋隅飲泣，節（端節）後有餘款，當再為購一頂，人多食少，擔當不起也。
另在賬簿中，留有爸爸這樣的記錄：
5月7日
賣出一點五七兩（黃金），船票四十一萬二千六百五十元，零用五千萬。
5月12日
在上海以近六點五兩頂房（頂出房子）、雜項一兩。
1.留給六弟一兩。
2.船票二兩半。
3.在台頂房（頂入房子）四兩。
5月12日—6月1日
共花去半兩，計存：
1.白面二袋
2.白米五十斤
3.雜糧十斤
4.木炭五十廳
共計台三百五十萬元（舊台幣）合金二錢。此後自6月1日起每月用款八萬元，一月照一錢五分黃金計算，連日米面燃料，以不超出三錢三分為原則，能維持多久算多久，要能於短期內找到小事，則更出乎預想，能寬裕與延長几許矣！
可見來台當時一家九口，處境的艱苦。最值得注意的是到了台灣，他還要「囤積」白面、白米、雜糧、木炭，這種無安全感，足可跟流亡上海時輝映。在上海1948年初的「囤積」數字是：
1.米九包強……足敷一年之用
2.面九袋……足敷四個半月之用
3.豆油四十斤……足敷四個月之用
4.豬油三十斤……足敷三個月之用
5.煤油五桶……足敷五個月之用
6.醬油三十斤……足敷三個月之用
7.煤球一千斤……足敷四個月之用
8.木炭二百斤……足敷四個月之用
9.劈柴六百斤……足敷二個月之用
10.鹽三斤……足敷一個月之用
查米面平均足一年之用
柴煤足一年之用
食油足半年之用
比起流亡上海時期，在台灣的「囤積」真是小巫見大巫了。再看他日記片段：
6月1日
1.實行八小時讀書計劃。
2.實行八萬元（舊台幣）日用計劃。
6月2日
2.去成功路賣金零點八三兩，共得款一百三十二萬八千元。
3.買草帽一頂（原註：小六的）。
6月3日
3.購木柴一百四十斤，價十萬，台灣物價亦在漲中。
6月4日
1.冒雨買菜，本日起未超出預算。
2.購配米，因雨受阻，明日領。
6月5日
1.領配米十斤，購炭百斤。
6月15日
1.賣出金少許，借維持數日，日來物益貴而金錢益賤，情況日非矣！
2.翁鎮有信來。
6月17日
1.函墨林、翁鎮，求一中學教員餬口。
2.去市府交戶口捐，經多方查訪，知為無職業而貧寒，允以最少數徵收，半年征二萬六千元。
3.去松涵處小坐，為生計問題，詳議甚久。
6月18日
1.姥姥故去一週年，時光變幻，物是人非，可慨也夫！
2.為姥姥週年，購少許祭物，用款近三十萬。
3.台灣新幣制（新台幣）開始。
6月26日
3.函墨林，送履歷一份。
墨林就是王墨林，是爸爸北大國文系的同班同學，當時他是「立法委員」，在他的幫忙下，爸爸終於找到了一個職業——台中一中國文教員。正巧我由上海緝規中學初一上的身份，跳班考取了台中一中，也考取了台中二中。台中一中好，我就上了一中。搖身一變，進了初二上。那時初二上有甲、乙、丙、丁、戊、己六班，我編在初二上甲。
當時台中一中校長是外號「金烏龜」的金樹榮，福建林森人，四十六歲，他在1945年12月1日就到一中了，是接收大員，資格最老，熱心辦學，人也有霸氣。當時一中師資集一時之盛，其中剛從大陸逃難來台的老師不少，這些人有的在大陸「此馬來頭大」，但是逃難到台灣，求食而已，一切也就沒話說。例如程東白老師，四十五歲，遼北開原人，學歷是日本明治大學法學士，經歷是遼北省教育廳長，但在一中，只能混到個夜間部教員！他如做過外交官的郭大鳴老師、都本仁老師，也都紆尊降貴，混起窮教員來。當時爸爸五十一歲，除了五十八歲的余又健老師，五十三歲的陳椿老師，他是年齡最大的。本省籍外號「獅頭」的許文葵老師也是五十一歲，人胖胖的，可愛無比。在「老灰級」的幾位老師外，其他老師多是二三十歲的年輕人，翁碩柏老師二十九歲，教我國文；楊錦鍾老師三十一歲，教我英文。她是江蘇寶山人，金陵女子文理學院畢業，美國密歇根碩士，因為留美，外號「USA」，當時她已嫁給空軍軍官胡旭光。後來走紅，隨胡旭光上任，做了國民黨駐美「副代表」夫人，六十五歲那年（1983年），死在美國。楊錦鍾當時風頭甚健，在老師中甚為出色。當時她家境比一般外省流亡台灣者要好，用得起傭人——下女。她說她家下女最怕買牛肉，每次到菜市場買牛肉回來，一定把手平伸，遠遠用拇指食指提著。那時台灣人不流行吃牛肉，全台中市只有一家牛肉店，下女有所懼，非「個人行為」也。誰想得到，土頭土腦的台中人，不但多年以後嗜吃牛肉，並且「衛爾康牛排館」大火起來，還把人燒成「人排」呢！光在吃牛肉習慣上，就看出外省人帶給台灣人的大影響了。
在一中唸書，每天與爸爸一同出發，由台中西區走到北區，中午就在學校吃便當。由於我們從沒見過便當盒，所以買的是一組上下多層的圓送飯盒。第一天上課時，我背著書包，提著上下多層的怪物進教室，惹得全班大笑，說這個「阿山」（指外省人，有奚落之意）原來是飯桶，不然怎麼吃這麼多。當時我看到同學的便當原來只是長方形的一小盒，飯菜皆在其中，反觀我的上下多層怪物，卻像吃酒席，吃大餐一般，為之大窘。第二天連忙換了，吾從眾矣。
進一中以後，班上春假要遠足，我因早在大陸就耳聞日月潭之名，乃提議去日月潭，全班一致通過。回家向爸爸伸手，爸爸說：「我們家早起刷牙，買不起牙粉，更買不起牙膏，只能用鹽水刷牙，哪有餘錢去日月潭呢？」於是，全班在日月潭日月潭，我在家裡日月潭。
初二時候，童軍老師王福霖選拔優秀學生參加菲律賓的童軍大會，找到我，要我繳頭戴童軍帽的照片應徵，那時我窮得沒錢照相，乃找出在大陸的一張舊照，用毛筆畫上一頂帽子交差。不料畫好了，橫看豎看都像戴著帽子照X光，帽裡的腦袋發生排斥作用，老朝外透，跟帽子打架。愈看愈不敢親自送，乃央求班長陳正澄（後任台大經濟系主任，又講學於日本，是名經濟學家）代遞。害得正澄和我的現代畫，一律被老師斥回。老師說，他一輩子也沒見過這種照片。於是，別人在菲律賓菲律賓，我在家裡菲律賓。
諸如此類的窮故事，顯示了我家來台灣，雖然爸爸找到了職業，但入不敷出，生活仍舊窮困。窮困的原因之一是爸爸要醫治長年氣喘病，媽媽又開刀等，從大陸帶來的一點黃金已變賣殆盡，唯一的模範西巷房子也不得不賣掉。台中一中終於分配了我們半棟宿舍，那是新北裡存德巷十三號的日本木屋的一半，只有八個榻榻米大，外加前後二個小玄關，我們一家九口住進，其擁擠可想。後來因為長久付不出薪水，老吳轉到「立委」閻孟華家去幫傭了，我們又有幸轉到木屋的另一半，才稍覺寬鬆。另一半有十多個榻榻米大，並且廁所不在院子裡而在屋裡，比較像樣一點（原來那一半改由音樂老師鄭嘉苗一家住了）。我家在存德巷十三號一住十三年，這一老宅，橫亙了我的中學時代，並且充滿了窮困與灰暗。但我個人比全家人都幸運，我分到兩個榻榻米的空間，隔了起來，算是我自己的獨立天地，在這小天地裡，我一桌一椅四壁書，快速地成長、辛勤地寫作，奠定了我在知識思想上的過人基礎。
台中一中不像台中二中，它是一個本省人比較多的學校，我初二時候，全班只有四個外省人，班上一有事，台灣同學就推我去幹。一次全校烹飪比賽，同學推派我和三位台灣同學陳正澄、趙天儀、張育宏四人參加（也許不是他們三位，記不太清楚了），我聲明我根本不會炒菜，可是同學不由分說，硬拉鴨子上架。好像那天燒的是一盤鴨子，好像由我主廚，不料燒出來，整盤菜都像鍋巴一樣烏漆麻黑的，如果另燒，時間已不允許，於是只好硬著頭皮送到台前給評判老師。看著那樣一盤黑菜，不論大陸人台灣人，誰都沒有勇氣端上去，於是協商之下，四個人，每人捏住盤子一角，一齊送上，害得評判老師們哄堂大笑。當然他們是不敢下箸的，那是有史以來，唯一一次評判連嘗都沒嘗就決定了的烹飪比賽。
我升初三上甲後，國文老師是二十七歲的楊錦銓（名字很像英文老師楊錦鐘，但是男的，並且是福建人），又兼導師。他是一位最能啟迪學生的國文教員，海疆學校畢業，學歷雖不怎麼樣，但書教得真好。他那時還兼事務主任，可以「上下其手」，為我們供應蠟紙、白報紙、油墨等等，鼓勵我們辦「初三上甲組報」，於是班長陳正澄任發行人，我做總編，趙天儀（「台大哲學系事件」時被擠出台大教職，是大好人，可惜做了詩人）寫鋼版，就辦起來了。一次還因為批評到了高班生，被他們興師問罪。可見我李敖辦刊物賈禍，固其來有自也！
因為我的國文在班上出色，自然被楊錦銓老師另眼看待。有一次作文，談到國文程度，我寫道：「現在學生的國文程度要比過去差一倍。」他批改時，不以為然，批曰：「怎麼可以以數字計量？」作文簿發下來，我沒說什麼。三十六年後，他退休了，我托石文傑送我的書給他，以示不負師教之意。順便請石文傑轉告他：「奧斯汀《傲慢與偏見》小說中，就有誰比誰漂亮一倍的用法。」四十六年後，我在電視節目《李敖笑傲江湖》中提到他、稱讚他，移居美國的他知道了，送了花了他二十年剛剛完成的一套大書——《說文意象字重建》給我，我大吃一驚，他如此勤勉，有如此成績，真是高人一等。他寫信給我說：「我兄名滿天下，卻如此念舊，衷心感動不已！」我跟楊錦銓老師四十多年未見，但是師生之誼，懸而不斷；念舊之情，老而不衰，其交也君子。
從初二到高一，十四歲到十六歲，我因為國語好、國文好，參加過多起演講、辯論、論文比賽。初二時得過全台中市第四屆全市國語演說競賽，初中組第二名（第一名是四姐，她代表省立台中女中；第三名是張立綱，他代表台中二中。張立綱的哥哥張立豫後來成了我四姐夫，張立綱也變成院士級的學者）。高一時參加台中市論文賽、本校論文賽，皆獲第一名。高二時在《合作經濟》第二卷第十二期發表《合作制度與節制資本》，這是參加慶祝第三十屆國際合作節徵文而作，得了全台灣第一名，並拿到有生以來最大一筆數目的獎金。我用那筆錢買了中華書局版四十冊的《飲冰室合集》。
在參加各種比賽以外，我在高一也寫過《李敖札記》四卷；並在《學生》雜誌第四十六期發表《杜威的教育思想及其他》；在《新生報》發表《〈英倫歸來〉的啟示》《生也有涯知無涯》；另外還寫了《學習英語的目的》《諸葛亮的軍政》《虛字的對聯》《字形的對聯》《毋忘在莒的出處》《行李考》等稿子。這時我十七歲。
1953年我十八歲，念高三，只念了十幾天，就自願休學在家。我那北京大學畢業的老子他隨我的便，輕鬆地說：「好！你小子要休學，就休吧！」他當時正是台中一中國文科主任，他跑到學校，向教務主任說：「我那寶貝兒子不要唸書啦！你們給他辦休學手續吧！」於是，我蹲在家裡，在我那四面是書的兩個榻榻米大的書房兼臥室裡，痛痛快快地養了一年浩然之氣。也寫了不少文章，其中有《從讀〈胡適文存〉說起》及《李敖詩集》等。我有這麼好的寫作能力，和我從小就養成了重視課外書的習慣，也和養成了買書藏書的癖好有關。到台灣時，我的全部財產是五百多本藏書，進台中一中後，我的大部分時間都消耗在這個中學的圖書館裡。這個圖書館的藏書相當豐富，我以義務服務生的資格在書庫中泡了四年之久，使我對一般書籍有了不少的常識。最使管理員們驚訝的是，我甚至可以閉起眼睛，單用鼻子就可以鑒定一本書是上海哪個大書店印的，這是我在teen-age中，最得意的一門絕技。
在制式教育中，我慢慢長大，也慢慢對中學教育不能容忍。就客觀環境來說，我總覺得我所經歷的中學教育趕不上我在北京時的殘餘記憶。在殘餘記憶裡，我認為北京的中學生不像台灣這樣呆板、膚淺、缺乏常識與性靈；就主觀感受來說，我讀的課外書愈多，我愈覺得中學教育不適合一般少年的個性發展，更不要提IQ較高的學生了。中學的教育制度、教授法、師資、課程分配等都有著極嚴重的缺陷與流弊，我高一時候那篇四千字的文章——《杜威的教育思想及其他》，就可看出我曾對杜威那種「進步教育」（progressive education）有著極強烈的憧憬，這種憧憬使我在有著強烈對比的中學裡面非常痛苦。到了高三，我已完全不能忍耐，我決心不想拿這張中學文憑，所以我就自動休學了。
我在台中一中可謂無書不讀，但在思想定型上，卻是讀了許多書，困學求變以後的事。思想定型的範圍是多方面的，其中包括左右問題、中西問題、新舊問題……這些多方面的問題，是每個中國知識分子的大困惑，由於水平不好、政治干擾，絕大多數的中國知識分子都失敗了，他們困惑終身，無法在思想定型上有又早又正確的判斷。在這方面，我是非常鮮明的一個例外，但在這些問題上，我也有過一段時間的困學求變的過程，這段時間最明顯的是在初中，到高中後期，我就逐漸定了型。在困學求變的過程裡，一位最重要的人物曾經「逼近」了我，但終於被我「擺脫」，這位人物，就是錢穆。我在小學時代就知道錢穆，上海開明書店出版「開明文史叢刊」，其中收有《孟子研究》，就是我最早知道的錢穆的著作。到台灣後，由於國民黨統治思想，管制書刊，進步和左派的舊書都查禁了，新書一本也看不到，我的許多時間，都花在研究古典上面，錢穆的著作，自然成了我的部分讀物。
當時共產黨批判逃離他們的學者，共分兩個型：一個是「胡適型」，一個是「錢穆型」。我對他們兩位，都分別加以注意。但胡適遠在美國，錢穆卻因陰錯陽差到了台灣台中，使我先結識了他。結識的原因，得力於同學徐武軍。徐武軍外號「日本和尚」，因為他爸爸是日本留學的，故有這一稱呼。徐武軍在台中一中，有點特權似的，原因是他忽來忽去，去了又來。後來才知道，原來他爸爸是徐復觀，先舉家來台，後感台灣情況危險，又全家遷到香港。韓戰（即朝鮮戰爭——編者）發生後，美國第七艦隊協防台灣，台灣不危險了，又全家遷回台灣。徐武軍住在台中市的一幢單門獨院平房裡，很考究，我去過多次，可是從來沒見過徐復觀（雖然十年後，我跟他大打筆仗並且大打官司），客廳裡書甚多，牆上有毛筆字赫然曰：「架上書籍，概不外借。」我至今記憶猶新。
1952年錢穆應淡江英專（淡江大學前身）校長居浩然之邀，在驚聲堂講演，不料天花板突然下落，錢穆受傷。那時徐復觀想在學術界插一腳，故拉攏錢穆，把錢穆接到台中徐府養傷，後來改住存德巷一號。徐武軍是我好朋友，他受了徐復觀影響，課本以外知識知道不少，和我很談得來。他說，你李敖程度這麼好，我要帶你去見一個人，我問是誰，他說是錢穆，我聽了很高興。不久，他就跟錢穆約好。1952年6月15日，徐武軍帶我走進存德巷一號，見到了錢穆。錢穆身穿府綢小褂，個子很小，滿口無錫土音，乍看起來，長相與聲名不太相符，簡直使我有點懷疑眼前這位，是不是就真是錢穆。他為人極為親切，對我們兩個高二學生，全無架子，聊起天來。我向他請教治國學方法。他說並沒有具體方法，要多讀書，多求解，當以古書原文為底子為主，免受他人成見的約束。書要看第一流的，一遍又一遍讀。與其十本書讀一遍，不如一本書讀十遍。不要怕讀大部頭的書，養成讀大部頭的書的習慣，則普通書就不怕了。讀書時要莊重，靜心凝神，能靜心凝神，任何喧鬧的場合都可讀書，否則走馬看花，等於白讀。選書最好選已經有兩三百年以上歷史的書，這種書經兩三百年猶未被淘汰，必有價值。新書則不然。新書有否價值，猶待考驗也。
我去看錢穆的時候，手中拿著我的《李敖札記》第二卷，錢穆接過去，翻了一下，看到第一篇我寫的《梁任公上南皮張尚書書》，他很驚訝，問我梁啟超這封信的出處，我告訴了他。這件事，使我有兩點感想：第一，他不恥下問，真有「知之為知之，不知為不知」的風度，令我敬佩；第二，他竟不知道這封信的出處，他的學問的廣度令我起疑。
錢穆翻完了我的札記，一邊誇獎我，一邊轉過頭來，溫和地對徐武軍說：「你不如他。」我奇怪錢穆竟這樣當面教育徐武軍，也許他住過徐府，跟徐武軍很熟的緣故。
臨告辭前，錢穆約我再去看他。那時我家住存德巷十三號台中一中宿舍，每天經過他門口，看他很方便，可是我沒有再去。後來他回到香港。我在第二年（1953年4月14日）寫了一封信給他，表示我對他的感謝，並請他「給我以指教」。我還問他兩個問題：
《中國歷代政治得失》第一一四頁第七行云：「第四個禁地是新疆。因此地土壤肥沃，尚未開闢，他們要留作滿洲人的衣食之地，希望滿洲人到那裡去，故不許中國人前往，直到左宗棠平定回亂以後，禁令始弛，漢人才能隨便去新疆。」這一回史實，在羅香林先生的高級中學本《國史》下冊第二頁中，卻有如下的說法：「先是清主更寧，即位後改元道光，頗有圖治之志，既平回疆之亂，遂於道光十一年納將軍長齡之議，以回疆『西四城』閒地，招民開墾，以裕兵糈，回疆始行屯田之法，漢民因是得盛徙其地。」羅先生所述「納將軍長齡之議」一語，似有所據，與先生所云，時間上相差甚遠，不知何故？再者，《國史大綱》第三頁第十一行云：「美人安達生名此曰北京人」一語，他書皆作「瑞典人」，不知何故？
半個月後（4月29日），我收到錢穆的回信，全文如下（原信沒有標點，標點是我加的）：
李敖學弟如面：
昨奉來書，知君努力學問，與日俱進，若能持之以恆，繼續不懈，將來必有成就，可喜可賀。學問之事，首貴有恆心，其次則防驕氣，小有所成，志得意滿，中道而止，雖有聰秀之質，犯此二病，終不能有遠到之望，唯立志高遠，始克免此。君尚在青年，向學伊始，故特以此相勉。能熟誦《莊》書，亦一佳事，然《論》《孟》尤為重要，須時時玩索，心體力行。盼先就《朱子集注》細細研讀，勿以能讀過為了事。此乃學者所宜終身常誦之書。穆最近有《四書釋義》一種，亦在台北出版，與《中國思想史》同收入「國民基本智識」叢書中，內有舊稿《論語要略》《孟子研究》兩種，為初學治《論》《孟》者指示塗轍。最近又泛事《論語新解》，刊載於某雜誌，以後當按期郵寄。當知學問與德性實為一事，學問之造詣，必以德性之修養為根基，亦以德性之修養為限度，苟忽於德性，則學問終難深入，此層務盼注意。《近三百年學術史》若能細讀，可獲許多治學方法，恨手邊無此書可以相贈。所詢兩節，關於新疆漢民移植，羅書亦有據，然大量之流入乃在後；安達生為瑞典人，《史綱》系一時筆誤，未經校出也。《國史新論》短期內或可付印。穆最近恐無來台之便，得暇盼時時來書，以獲知君學問進詣為快也。匆此，即詢進步
錢穆啟
錢穆的信，寫得工工整整，足見此公主敬修養的一面。信中對一個十八歲的青年人如此鼓勵，固因我的好學引起他的注意，也實可看出他具有教育家的風度。信中說他要「按期郵寄」他在「某雜誌」的《論語新解》連載，他言而有信，果然按期寄來（「某雜誌」是香港《人生》雜誌），使我對他益發感念。按說以錢穆對我的賞識，以我對他的感念，一般的讀書人，很容易就會朝「變成錢穆的徒弟」路線發展，可是，我的發展卻一反其道。在我思想定型的歷程裡，我的境界，很快就跑到前面去了。對錢穆，我終於論定他是一位反動的學者，他不再引起我的興趣，我佩服他在古典方面的樸學成就，但對他在樸學以外的擴張解釋，我大都認為水平可疑。錢穆的頭腦太迂腐，迂腐得自成一家，這種現象，並無師承，因為錢穆的老師呂思勉卻前進得多，老師前進，學生落伍，這真是怪事！
與錢穆通信後第三年（1955），我進了台大歷史系。台大歷史系是「胡適型」的地盤，對「錢穆型」是隱含排擠的。在胡適有生之年，錢穆未能成為「中央研究院院士」，我始終認為對錢穆不公道。錢穆的雜七雜八的理學怪說固不足論，但他在古典方面的樸學成就，卻更該先入選成「院士」。
與錢穆通信後第九年（1962），我已經成為成熟的戰士。我在《文星》發表《給談中西文化的人看看病》，開始激烈地攻擊了錢穆，這種攻擊一直不斷，在我們會面後三十四年（1986），我還發表文字，大表我對他倒在蔣介石懷裡的不滿，我說：
試看錢穆寫《總統蔣公八秩華誕祝壽文》，歌頌蔣介石是「誠吾國歷史人物中最具貞德之一人。稟貞德而蹈貞運，斯以見天心之所屬，而吾國家民族此一時代貞下起元之大任，所以必由公勝之也」。肉麻兮兮，已是全然無恥，知識分子反動到這步田地，真太令人失望矣！回想錢穆當年給我寫信，標榜「學問」與「德性」的關係，如今「學問」竟不能阻止「德性」的淪落，我真忍不住為他悲哀！
我又說：
回想我與錢穆的一段因緣，我的確完成了「一朝眉羽成，鑽破亦在我」的階段，可惜的是，錢穆本人，卻愈老「自纏」得愈緊了。如今他過九十三歲生日，五代弟子，冠蓋雲集，人人稱慶，我卻別有志哀，我為錢穆惜，他有做成真正「一代儒宗」的機會，可是他卻做成個假的。歷史上，真正「一代儒宗」是不會倒在統治者的懷裡的！
在錢穆死前不久，我去「故宮博物院」，遠遠地望見了他，他已老態龍鍾、步履維艱。我沒有趨前問候，但心裡一直感念他，畢竟在我少年時代，他曾經被我心儀，曾經熱心指導過我、幫助過我，這種老輩風範的人物，對「現代史」的人說來，真是「上古史」了。
我在台中一中，最難忘的一位老師是嚴僑。嚴僑是福建福州人，是嚴復的長孫。身材瘦高、頭生密發、兩眼又大又有神。三十一歲時到台中一中，那是1950年8月間，他比別的老師稍晚來，卻很快使大家對他感興趣。他有一股魔力似的迷人氣質，灑脫、多才、口才好、喜歡喝酒，和一點點瘋狂氣概，令人一見他就有對他好奇、佩服的印象。有一次高班生踢足球，足球踢到場外，正巧嚴僑經過，此公也不走路了，突然直奔此球，奮身一腳，就給踢了回來。大家為之叫好，他也趁機加入，大踢特踢起來了。
那時台中一中圖書館主任是陳聯璋老師，主辦每週講座，邀老師們做專題講演。嚴僑應邀講過一次《人（Homo Sapiens）的故事》，最有趣的，是他在講演中大談「演化論」而不是他祖父宣傳的「天演論」，他說「天演」的天字不妥，該譯為「演化」，這一不跟祖宗走的氣魄，留給我很深的印象。他又講過一次「家畜山羊」，從高加索山羊、西班牙山羊、波斯山羊、喜馬拉雅山羊說起，如數家珍，使我們驚歎他知識的多樣與豐富。當時我和他並不相識，他是一位別班上的老師，我是一個另一班上的學生，他我之間，是自有距離的。
1951年到了，我十六歲。暑假後進了高一上甲。正好嚴僑教數學，這樣他就正式成了我班上的老師。這時我在知識成長上已經極為快速，在班上喜放厥詞，好爭好辯，頗為張狂。當時班上同學很吃我不消，王文振甚至寫匿名信丟在我書包裡痛罵我；施啟揚喜歡同我辯，但他實在很笨，又做少年老成狀，令我總要用口舌修理他（用口舌修理，是有分別的。初中時施啟揚編在初二戊班，很討厭，以致被陳士寬他們用拳頭修理——揍了一頓。到高中後，化學老師王孟仁是我父親老友，為人鷹隼精明，他最不喜施啟揚，施啟揚央我向王孟仁講人情，王孟仁說，他相信施啟揚是職業學生，早晚會大做國民黨狗腿。三十年後回想王老師的話，真要佩服他是預言家）。由於我張狂好辯，在嚴僑課堂上，也就常常在數學以外，扯到別處去。嚴僑上課，才華四溢，大而化之，許多機械的題目，他自己乾脆不做，反倒自己坐到學生座位上，叫吳鑄人等數學極好的同學「站板」（站到黑板前）去做。他常在課堂上聊天。有一天居然說：「我要把你們思想攪動起來！」還有一次為了證明他說得對，他近乎打賭地說：「我若說錯了，我就把我的名字倒寫！」說著就用極熟練的筆畫，把倒寫的嚴僑兩字寫在黑板上，儼然是「鏡子書法」（mirror writing）專家，我們鼓掌呼嘯，師生之情，融成一片。那時我們的數學作業有專門印好的「數學練習簿」，我在練習簿中做習題不在行，但扯別的倒有一套。我來了一段「簿首引言」，引OscarW.Anthony的一段話，說：「數學是人類智力的靈魂……它超越了空間與時間的領域，告訴我們宇宙是這樣的悠遠，光線曾經歷百萬年的行程，方才照射到大地上……」後來，「數學練習簿」發回來了，在「它超越了空間與時間」的一行下，被嚴僑打了一條紅槓子，下有硃筆批曰：「我想它超越不了空時！」——這就是嚴僑的可愛處，他是數學老師，但他在精改習題以外，他還會跟學生的引文打筆仗！
嚴僑真是迷人的老師，我愈來愈欣賞他。我花了幾天的時間，寫了一封長信，信中細述我成長的歷程，我對現實的不滿，我對國民黨的討厭等，交了給他。嚴僑看了，對我有所勸慰。他跟我的交情，自然也就不同一般師生了。
1952年我升高中二年級後，編到高二戊，數學改由黃鐘老師來教。黃鐘那時二十八歲，安東鳳城人，他是國立東北大學畢業的，嚴僑是私立福建協和大學畢業的。在數學造詣上，黃鐘似乎比嚴僑專精。黃鐘對學生的誨人不倦，是我生平僅見的老師。他常常在下課時不下課，延長時間為學生講課；或另外跟學生約定時間，在空堂時候跑來加講。黃鐘面目瘦削，身體很弱，有肺病，眉宇之間，總是一片憂愁。他幾乎從來沒有開懷地笑過，態度總是嚴肅而認真，令人敬畏。黃鐘的父親黃劍秋是我爸爸老友，爸爸擔心我數學不好，特別請黃鐘照顧我。黃鐘對我印象很好，他在「數學練習簿」上批寫：「為人誠實可愛。」給了我不少鼓勵。當然他從沒說過我數學好——我的數學實在不好。我像許多恨數學的大人物（如丘吉爾、蕭伯納）一樣，對數學恨得要命。我的苦惱是數學老師卻一一同我有交情，使我不勝尷尬之至。
1953年到高三後，我自願休學在家，準備以同等學力資格去考大學。要命的是黃鐘仍不放過我，他和我爸爸「通謀」成功，硬要我到他家去，專門為我一個人補習。他家住台中市永安街一巷五號，我每次去補習，視若畏途，但是實在不能不去，內心交戰，非常痛苦。這一痛苦，最後終因黃鐘病倒而暫告結束。黃鐘病倒，住在台中醫院裡，昏迷不醒，整天只好用機器抽痰。我每天去照料他，直到他無言死去。我大為傷感，寫了一篇《黃鐘誄》和《九泉唯有好人多》等幾首詩紀念他，並把他的遺像掛在牆上。爸爸生平最好占卜星象，他跟我說：「黃鐘是好人，可是長了一副壞人相。他的人與相不相稱，所以要早死。」黃鐘死時，還不到三十歲。
嚴僑雖然不再教我數學，但他和我的交情卻與日俱深。他家住在一中斜對面宿舍，就是育才街五號，是一棟日式木屋，分給兩家住，前面住的是郭大傅老師（他是江西興國人，中正大學畢業。二十年後，在景美軍法處坐牢，和我見過面。真沒想到他還有這樣遲來的紅帽！），後面就是嚴僑家。因為一棟房子硬分成二戶，所以變得狹長陰暗，不成格局。嚴僑約我去他家看他，我有時去。在黃鐘住院後，一天嚴僑正好去探望，碰到我，我告訴他醫生說黃老師恐怕已沒希望了，嚴僑頗多感觸。那時已是晚上，嚴僑要回家了，約我同行。在路上，他低聲而神秘地告訴我：「你不要回頭看，我感覺到好像有人跟蹤我，是藍色的。」（國民黨特務源出藍衣社，他指藍色，當然是指國特。）我頓時若有所悟。隔天黃鐘死了，嚴僑再去醫院，感觸更多。當天晚上我送他回家，他約我進去坐，在昏暗的燈光下，他劣酒下肚，終於告訴我，他是「那邊來的」——原來他是共產黨！
當時的台中一中，像其他學校一樣，不時有所謂共產黨、「匪諜」被捕去。最令我心動的是當時女老師牟琴和她男友楊肇南老師的雙雙被捕。他們都是山東人，牟琴年輕艷麗，身材尤其肉感動人，令我們暗慕。一天夜裡，他們都被捕去了，聽說都是共產黨、「匪諜」（多少年後，彷彿聽說牟琴給放出來了，可是已被折磨得年華銷盡了）；還有一位教數學的楊肖震老師（福建政和人，二十四歲），也被捕去（後來聽說太太生活無著，已改嫁給他的一個朋友了）；還有一位王懷中老師（山東諸城人，三十八歲），教歷史的，也神秘失蹤了（多少年後才在新竹中學重拾教職）。當時頗有人人自危的味道。黃鐘死後，外界盛傳他是共產黨，「畏罪自殺」云云。可是直到今天，我還不能相信。因為他嚥氣時候，我正守在他身邊，他久病屬實，絕不像是自殺。
但是黃鐘的死，確實給嚴僑帶來極大的感觸，他似乎感到人生無常，好人難長壽。黃鐘死後，嚴僑的酒好像愈喝愈多了。因為沒有錢，嚴僑喝的酒是煙酒公賣局出品的最劣等米酒。他喝酒的方式是粗獷的，沒有情調、沒有小菜，用牙齒把瓶蓋一口咬下，就咕嘟咕嘟，大喝起黃湯來。嚴僑喝酒雖多，但我從沒看過他有泥醉的現象，他只是喝得很興奮而已。黃湯下肚後，往往大背和醉酒有關的詩詞。他最喜歡背辛棄疾的那首《西江月》（遣興）——
醉裡且貪歡笑，
要愁哪得工夫？
近來始覺古人書，
信著全無是處。
昨夜松邊醉倒，
問松：「我醉何如？」
只疑鬆動要來扶，
以手推松曰：「去！」
每背到最後一句的時候，他也總是伸開十指，雙手向前推出，鄭重表示不要「松」來扶他。中國國學非嚴僑所長，他「以手推松曰：『去！』」，自然不知道《漢書·龔勝傳》中這一典故，也不知道龔勝七十九歲成了殉道者的悲劇，但他那醉後一推曰「去！」的真情，如今事隔四十多年，卻使我記憶猶新，永遠難忘。
在多次跟嚴僑的夜談中，我約略知道了他的一些情況。他來台灣比較晚，並且是從福建偷渡上岸的，當時還帶著嚴師母。他坐的船是最小的木船，他說船上只有埋在沙上的一個羅盤，揚帆過海，就過來了，言下不勝得意。到台灣後，他被發現，國特把他請去，問他你來台灣幹什麼？他說我來投奔自由；國特說你胡扯，你的爸爸在福州做共產黨的市長，他那麼前進，你怎麼這麼落伍？一般情形總是老一代跟國民黨走，青年一代跟共產黨走，為什麼你們家特別：你老子反倒前進，你反倒開倒車，來投奔我們？嚴僑說我不是來投奔你們，我是來投奔自由，何況我有老母在台，我要來照顧她。國特查出嚴僑果然有老母在台，只好暫且相信。但這樣總不能結案，總得找個保人，於是，由妹夫葉明勳出面，保了嚴僑。嚴僑有兩個妹妹，大妹嚴倬雲，嫁給辜振甫；小妹嚴停雲（就是女作家華嚴），嫁給葉明勳。
嚴僑在台中一中教書，自己也看了不少書，他過去的看書基礎又厚，所以能夠吸收新知，與日俱進。在他和我的談話中，顯然因為讀書和受我的一點影響，而開始有點自由主義的傾向。這種轉變，其實是很不容易的，是只有嚴僑那種智慧高人的青年人才做得到的。嚴僑投身在中國現代的狂飆運動之中，他投入這個運動，在知識上、見解上、情感上，都強烈受到左派教條的輻射，他們那個時代的這類革命者，一般都有著熱情而崇高的氣質，這種氣質使他們勇於獻身，勇於殉道，心之所善，九死無悔。但是，他們對他們獻身、殉道的對象，卻由於「目的熱」，未免淪於「方法盲」，他們之中智慧高人的，一旦成為狂飆運動的浪花余沫，在百尺竿頭，更進一步的當口，他們必然會有所覺悟，這是很當然的。嚴僑是共產黨，卻是身陷在台灣的，他脫離了紅色的磁場，孤單地侷促在藍色的泥淖，在日新又新的成長下，以他的智慧，一定程度的覺悟，是可以想像的。這種覺悟也許沒有《修煉失敗的神》（TheGodThatFailed）作者那種細膩，也許沒有《新階級》（TheNewClass）作者那種深沉，但是嚴僑有他自己的特色。那特色就是儘管他有所失落，但他並不因失落而脫離；相反，他要歸隊，要歸隊去重建那父母之邦。一天晚上，嚴僑又喝醉了酒，他突然哭了起來，並且哭得很沉痛。在感情稍微平靜以後，他對我做了最重要的一段談話：
我不相信國民黨會把中國救活，他們不論怎樣改造，也是無可救藥，他們的根兒爛了。十多年來，我把自己投入一個新運動，我和一些青年人冒險、吃苦，為了給國家帶來一個新遠景，所以我做了共產黨，我志願偷渡過來，為我的信仰做那最難做的一部分。可是這兩年來，我發現我變了，我的精神好像飛向那自由主義的神像，可是我的身體卻永遠被一個黨鎖住，被另外一個黨監視，這是我最大的痛苦。雖然這樣，我還是想回大陸去，那裡雖然不滿意，可是總有一點「新」的氣味，有朝氣，對國民黨我是始終看不起的，它不配我去自首！現在我們的名冊裡並沒有你，可是我想帶你回去，帶你去共同參加那個新嘗試的大運動，這個大運動是成功是失敗不敢確定，但它至少犧牲了我們這一代而為了另外一個遠景，至少比在死巷裡打滾的國民黨痛快得多了！
由於他有那樣的背景，那樣的偷渡經驗，我相信他說的，我答應了跟他走。我當時夢想我會參加一個重建中國的大運動。可是夢想畢竟是夢想，半夜裡五個大漢驚破了他的夢和我的夢，他被捕了。這是1953年的事。那時候嚴僑三十三歲，我十八歲。
嚴僑被捕時我還不知情，第二天的中午，爸爸從一中回來，說到一中傳出嚴僑被捕的事，我聽了，十分感傷。我的感傷不重要，重要的是如何照顧嚴師母和三個小孩。那時1950年生的大女兒嚴方才三歲，兒子嚴正尚小，小女兒嚴諒還在懷裡吃奶。我跟嚴師母商議多次，一籌莫展。我那時休學在家，只是高三上的學生身份，家裡又窮，沒有任何收入，實在愧無以幫助嚴師母。我只好餓早飯不吃，存了一些錢，送給了嚴師母。後來我爸爸知道了，嚴肅責備我不可以這樣做：「嚴僑既然被捕了，誰還敢幫他呢？」這是爸爸的理由。這種理由是缺乏同情心的，但是在國民黨的苛政下，同情畢竟是一種跳到黃河洗不清的「危險品」，在陰影幢幢的株連下，殘存的一些道德品質，也就備受考驗了。
雖然如此，嚴師母和我，總希望血緣關係和親屬關係上的幫忙，或能免掉國民黨的妒忌。因為這種關係畢竟是血親問題，總不是政治問題。在一陣日子拖過後，嚴僑毫無音訊，嚴師母和我商議，決定北上投親，她希望辜振甫等能施以援手。就這樣，嚴師母收拾殘破的一些家當，帶著三個小孩，含淚北上了。嚴師母北上後，沒有任何消息了。我個人也忙於大專聯考等，沒有再能做什麼。嚴僑和嚴僑一家，就這樣在台中育才路消逝了。我有時夜裡散步，經過嚴家的舊宅，遙望院裡的一片濃陰和屋裡的一片死寂，內心悲涼不已。
幾年以後，一天胡家倫在台大告訴我：「你記得嚴僑嗎？他死了，死在火燒島。」（我們那時都叫「火燒島」，不叫「綠島」。）胡家倫的父親是國民黨中央社老人胡傳厚，與葉明勳他們熟，他的消息應屬可信，我聽了消息，十分難過。
這時我在思想上，受了胡適、殷海光的影響，已經十足是一個成熟的自由主義者，在我思想成長的過程中，嚴僑雖然對我已是「過去式」，但他的偉大人格，他的聲容笑貌，他的熱情犀利，他的悲慘人生，卻對我永遠是「現在式」，他是我人格上的導師，我慶幸在我一生中，能夠親炙到這麼一位狂飆運動下的悲劇人物，使我在人格形成中，得以有那種大陸型的脈搏，那種左翼式的狂熱，那種宗教性的情懷與犧牲。在這些方面，嚴僑都給了活生生的身教，也許嚴僑本人並不那麼豐富，那麼全面，那麼完整，但對「少年十五二十時」的李敖而言，無疑地都成為我的導師。最後，雖然導師自己倒下去了，但他的學生還在前進——他的學生沒有倒！
在台中一中的同學，轉成我好朋友的頗多，高我三班的有張世民、何同紋、周春堤；高我二班的有李天培、金嘉錫、陳欽銘、蔡希灼、陳世熙、黃容；跟我同班的有陳正澄、張育宏、趙天儀、吳鑄人、楊爾琳、賴憲滄、韓毅雄、王新德、黃顯昌、施啟揚、朱廣誠、剛華民、熊廷武；跟我同屆的有張光錦、孟祥協、吳文立、何西就、胡家倫，何鎧光、李耀祖、張仁龍、莊銘山、趙秀雄、林益宣、李仁、譚偉力、李述古、李華俊、章含精、任建園、馬安國、宋世諒、李鹹林、姚嶂、江合祥、程國強、徐武軍、胡業純、陳振威；晚於我的有李文岳、丁善璽、吳傑人、陳瑞洲、張宏謀等。最有趣的是林正方，他在一中，以留級出名，從高我N屆到低我N屆，算也算不清了，他是個有趣的人，只是太粗線條了。