張華字茂先，范陽方城人。父親張平，是漁陽郡守。張華少年孤貧，自己牧羊，同郡人盧欽見了張華後很器重他。同鄉人劉放也以為張華有奇才，把自己的女兒嫁給了他。張華的學識優異而淵博，辭藻和順而華麗，聰敏而多才，圖卦讖緯方技之類的書無不詳覽。少年即注意修身，言行謹慎，舉止必合乎禮度。見義勇為，周濟危難。器量寬闊，膽識弘大，當時的人多不能測其高深。
開始未為人所知，作《鷦鷯賦》以自說，其辭為：
造物主何等巧妙多端，使萬類各得其形體。鷦鷯這種小禽，也獲生而受氣。體陋小而不能遠飛，無玄黃美羽以自貴；毛不可以做器用，肉不可以充美味。鷹..過而不顧，又何畏乎網羅。深草密林，是其遊樂場所。飛不至高空，翔不與群鳥合。其居易於安身，其求易於滿足；一枝可以築巢，數粒足以飽腹。棲息不必常所，遊樂無所盤桓，陋室是荊棘，美屋是磟蘭。舉翼有逸趣，停足身即安。聽天順理，與萬物互不為患。此禽似為無知，處世全身似有大智。不懷害以致害，不飾容以招累。靜則守本性而不矜誇，動則循自然而求簡易。任自然以為生存之本，無用於人，不慕於世。
雕鷹..雞有鉤嘴利爪，鴻鵠鷺茲高翔於雲際，昆鳥雞藏於幽險之處，孔雀生於偏僻之地，晨鳧大雁舉翼而遠逝，都因羽美而肉肥，才使無罪而身死；銜蘆以避箭，白費心機，終斃命於此世。蒼鷹兇猛而加繩，鸚鵡聰慧而入籠，受人馴養終得屈志，懸於高閣孤獨一生；弄巧舌以順主子之意，摧羽毛為獵人所用。戀鍾岱之林野，慕隴坻之高松。雖受寵於今日，未若往昔之從容。爰居本是海鳥，避風來到內地；巨雀生於條支，越嶺送至中原，被提挈而行萬里，受威逼而供祭壇。只因體大形偉而害其身。
陰陽陶鑄萬物，萬物生於一區。鉅細不同，種繁類異。鷦冥築巢於蚊睫，大鵬翱翔於天際，比上不足，比下有餘。遠觀天地之間，吾又怎知大小之物誰有樂土。
陳留人阮籍看到這篇賦，歎道：「這是輔助帝王建大業的人才啊！」從此聲名開始顯著。
郡守鮮於嗣推薦張華作太常博士。盧欽又推薦於文帝司馬昭，轉為河南尹丞，未上任，授予佐著作郎。不久，遷為長史，兼中書郎。朝廷議事所發表的意見，及所上表奏，多被採納施行，遂任中書郎正職。晉武帝受禪讓即位，拜為黃門侍郎，封關內侯。
張華記憶力極強，學識淵博，天下古今事物，瞭如指掌。武帝曾問漢宮室制度及建章宮千門萬戶情況，張華應對如流，聽者忘倦，並在地上畫出圖樣，左右視不移目。武帝甚覺奇異，時人比作春秋鄭國子產。過了幾年，拜為中書令，後又加散騎常侍。母親去世時悲哀異常，武帝下詔勸勉，強令料理政事。
當初，武帝與羊祜暗謀劃伐吳，群臣多以為不可，只有張華贊成這一計劃。以後羊祜病重，武帝派遣張華到羊祜那裡詢問伐吳之計，語在《羊祜傳》。到大舉伐吳時，以張華為度支尚書，計算運輸糧草，與武帝一起制定作戰計劃。眾軍已進發，未獲成果，賈充等奏請殺張華以謝天下。武帝說：「伐吳是我的主意，張華只是與我意見相同罷了。」當時大臣們都以為不可輕進，張華獨堅持己見，以為伐吳必勝。及吳滅，皇帝下詔說：「尚書、關內侯張華，以前與已故太傅羊祜共創大計，遂掌管軍事，部署諸軍，算定謀略，運籌於內，決勝於外，有謀劃之功勳。現晉封為廣武縣侯，增食邑一萬戶，封其子一人為亭侯，食邑一千五百戶，賜絹萬匹。」
張華名重當世，為眾人所推崇信服，撰寫修訂晉史及禮儀憲章的任務，都托付給張華，有很多增減與修改，當時的詔書誥文，都是張華所起草，聲譽更盛，有宰相之威望。而荀勖自以為出身大族，仗恃武帝對他有深恩，憎恨張華，常欲伺機將張華調到外鎮任職。適逢武帝問張華：「以後的國家大事誰可寄托？」張華回答說：「有明德而又是至親者，莫如齊王司馬攸。」這不符武帝的本意，算是細小的違旨，於是荀勖離間張華的陰謀得逞，外調張華為持節、都督幽州諸軍事、兼護烏桓校尉、安北將軍。招撫接納新歸附者，戎狄華夏盡懷其德，東夷馬韓、新彌諸國依山傍海，離幽州四千餘里，歷代不曾內附者二十餘國，都遣使朝貢。於是遠夷賓服，四境無事，連年豐收，兵馬強壯。
朝中議論欲召張華回京作宰相，又欲進號儀同三司，卻遇到了馮恢的阻撓。張華曾在武帝面前說過馮恢之弟馮..的壞話，而馮..深得武帝寵信，常陪侍左右，一次與武帝閒談魏晉之事，藉機向武帝說：「臣私下認為鍾會謀反之禍是太祖造成的。」武帝臉色一變說：「你這是什麼話！」馮..免冠謝罪說：「臣愚鈍瞎說，罪該萬死！然臣微末之意，還可以申述。」武帝說：「你還要說什麼？」馮..說：「臣以為善駕車者必熟習馬力的盛衰，善為政者必懂對官吏控制適度，故子路因好勝被抑制，冉求因退讓被進用，漢高祖子弟八個諸侯王因過於寵信被夷滅，漢光武諸將由於受抑制而善終。這並非為君者有仁有暴，也不是為臣者有智有愚，而是壓低與抬高，給予與奪取的不同造成的。鍾會才能見識有限，而太祖誇獎太過，讚美他的謀略，宣揚他的名聲才略，授以大權，委以重兵，故使鍾會自認算無失策，功勳無比，飛揚跋扈，遂造成謀反叛國之罪。如果太祖用其小能，從大的方面控制他，抑制他的權勢，用各種規則約束他，則叛亂之心無從發生，叛亂之事無從出現。」武帝說：「是這樣的。」馮..叩頭說：「陛下既然肯定為臣的意見，應防微杜漸，不要使鍾會之類的人再造成災禍。」武帝說：「當今還有像鍾會那樣的人嗎？」馮..說：「東方朔有句話：『談何容易。』《易經》上說『臣不密則失身』。」武帝讓在旁的人退出，說：「你盡情說吧！」馮..說：「陛下謀劃之臣，大功著於天下，海內無不聞知，據方鎮統軍馬之任者，都在陛下憂慮之列。」武帝沉默不語。不久，徵召張華做太常。因太廟屋樑折，免官。武帝在位期間，一直以列侯身份朝見。
惠帝即位，以張華為太子少傅，與王戎、裴楷、和嶠都因有德望被楊駿嫉妒，不得參與朝政。楊駿被殺後，將廢黜皇太后楊氏，群臣會集於朝堂，議者都順承旨意，以為「《春秋》貶絕文姜，今太后自絕於宗廟，也應廢黜。」只有張華認為「夫婦之道，不涉於父子關係，皇太后並沒有得罪先帝。今楊駿為其親，只能說不能為天下母儀，應倣傚漢廢趙太后為孝成後的例子，貶太后稱號，仍稱武皇后，居於別宮，以成全終養之恩」。意見不被採納，遂廢太后為平民。
楚王司馬瑋受密詔殺太宰汝南王司馬亮、太保衛馞等，內外兵亂繁起，朝臣恐懼，手足無所措。張華告訴惠帝說：「司馬瑋以假詔書擅自殺害二公，將士倉促行事，認為是國家旨意，故聽從司馬瑋。今皇帝可派特使持幡使外軍解除戒嚴，事件即可平息。」惠帝採納了張華的意見，司馬瑋的兵果然失敗。及司馬瑋被殺，張華因首先獻謀有功，拜為右光祿大夫，開府儀同三司、侍中、中書監，金印紫綬。張華辭去開府儀同三司。
賈謐與賈後共同商量，以為張華出身庶族，儒雅有謀略，上無威逼君主的疑慮，下為眾望所歸，打算依靠他總攝朝政，大事咨詢於他。尚猶豫未決，問於裴輎，裴輎平時很尊重張華，非常贊成這樣做。張華遂受重用，盡忠國事，輔佐朝政，彌補缺漏，雖當惠帝昏弱賈後肆虐之朝，而天下安定，這是張華的功勞。張華怕賈後親族勢力強盛釀成災禍，作《女史箴》以諷勸。賈後雖凶暴嫉妒，還是敬重張華。很久以後，朝廷論張華前後功勳，晉封為壯武郡公。張華推讓十餘次，皇帝下詔敦促開導，這才接受。幾年以後，代替下邳王司馬晃為司空，兼著作事。
賈後謀劃欲廢太子，左衛率劉卞很受太子信任和優待，每次宴會，劉卞也一定參加。每次看到賈謐驕傲無禮，太子很憎恨他，並在語言容色上表露出來，賈謐對太子也憤怨不平。劉卞向張華詢問賈後欲廢太子的事，張華回答說：「沒有聽說。」劉卞說：「我劉卞本是貧寒憔悴之士，在須昌作小吏，受到您的提拔成就，才有今日。士感恩於知己，因此才無所不言，而您對我還有懷疑吧！」張華說：「假令有這回事，君準備如何對付呢？」劉卞說：「東宮才高德重之人如林，四個衛率有精兵萬人，您居宰輔重位，如得到您的命令，朝見皇帝，總領尚書事，將皇后廢於金墉城，只需要兩個黃門就可以了。」張華說：「今天子在位，太子是皇帝之子，我又沒有接受廢立的詔命，唐突行此事，是眼中沒有一國之君，人子之父，而且是以不孝昭示天下。即使能成功，也不免獲罪，何況外戚權臣滿朝，權威不在一人，怎能安然無事呢！」賈後使人作禱神之文，內含叛逆之意，讓太子醉中抄寫，呈於惠帝。惠帝在式乾殿會集群臣，以太子手書遍示群臣，大家都不敢說話。只有張華進諫說：「這是國家大禍。自漢武帝以來，每廢黜正嫡，總要引起動亂，況且晉有天下時間不長，望陛下慎重考慮。」尚書左僕射裴危頁以為先要檢查傳書的人，又請檢驗字體真假，不然，恐有偽詐。賈後拿出太子平時寫的啟事十幾張，眾人比照，也沒有人敢說不是太子的手書，議論到太陽偏西仍不能決斷，賈後知道張華等護太子意志堅定，因而上表請求將太子免為庶人，惠帝同意了賈後的意見。
當初趙王司馬倫為鎮西將軍，擾亂關中，氐羌反叛，皇帝讓梁王司馬肜代替司馬倫。有人勸張華說：「趙王貪婪昏庸，信用孫秀，到哪裡哪裡亂，而孫秀狡詐多端，是奸人之雄。今可讓梁王殺掉孫秀，就削去了趙王的一半力量，以此謝關右之人，不是很好嗎？」張華接受了這個意見，梁王司馬肜也答應了。孫秀的友人辛冉從關中來，對司馬肜說：「氐羌自己造反，不是孫秀造成的。」因而孫秀得免於死。司馬倫回京後諂媚賈後，要統領尚書事，後又求作尚書令。張華與裴輎都堅持不可，由此造成怨恨，司馬倫、孫秀把張華看作仇人。武庫起火，張華怕有人乘機作亂，派兵把守周圍，然後安排救火，所以歷代藏的寶器及漢高祖斬蛇劍、王蟒頭、孔子屐等全被燒燬。當時張華看到斬蛇劍穿透屋頂飛出，不知去向。
當初，張華所封的壯武郡有棵桑樹變成了柏樹，懂得的人認為這是不祥之兆。張華的住宅及官署多次出現妖怪。張華的少子張韙因中台星散裂，勸張華遜位引退。張華不聽，說：「天道玄奧莫測，只有修德以應天變罷了。不如靜觀以待，聽天由命。」及司馬倫、孫秀將廢賈後，孫秀使司馬雅夜見張華，告訴他說：「今社稷將危，趙王欲與公共同匡扶朝廷，為霸王之事。」張華知道孫秀等定會謀篡奪之事，就拒絕了。司馬雅發怒說：「刀刃將加於頸上，你還說這樣的話！」頭也不回就出去了。張華正白天臥床休息，夢見房屋忽然倒塌，醒後心中厭惡，當天夜裡災難發生，司馬倫詐稱皇帝有詔召張華，於是與裴危頁一起被捕。張華將死時對張林說：「卿要害忠臣嗎？」張林稱有詔書，指責張華說：「你身為宰相，負天下之重任，太子被廢，你不能為之而死，這是為什麼？」張華說：「式乾殿議論此事時，我竭力勸阻，眾所周知，並不是我不諫啊。」張林說：「諫而不從，何不退位？」張華無話可答。片刻，使者來到說：「有詔令斬公。」張華說：「我是先帝老臣，赤心如丹。我不畏死，只怕王室將有大難，禍不可測啊。」於是在前殿馬道南被殺，並夷滅三族，朝野無不悲痛。終年六十九歲。
張華愛惜人才，勸勉薦拔人才從不厭倦，即使窮賤雜役之士有一技之長些許之善者，便讚歎稱道，擴大他們的聲譽。張華愛好書籍，死時家無餘財，只有文史書籍滿架盈箱。曾經搬家，光書就拉了三十車。秘書監摯虞撰定官書，都是根據張華的版本校勘的。天下奇聞異事，世上少有者，張華那裡都有。因此博識多聞，當世無人可比。
惠帝時，有人得一鳥，毛長三丈，拿來給張華看，張華見了很淒慘地說：「這叫海鳧毛，此物出現，則天下將亂了。」陸機曾請張華吃飯，席上有一盤醃魚塊，當時賓客滿座，張華打開盤子便說：「這是龍肉。」眾人不信，張華說：「試以苦酒澆上，必有異常變化。」澆上苦酒以後，發出五色光芒。陸機回頭問送醃魚的人，那人說：「在園中茅草堆下得到一條白魚，樣子異常，醃製以後，味道特別美，所以獻上。」武庫封閉很嚴，忽然發現庫中有只雉雛。張華說：「這必然是蛇變成的。」打開武庫一看，雉雛旁邊果然有塊蛇皮。吳郡的臨平一處堤岸崩塌，出現一個石鼓，用槌敲擊沒有聲音。皇帝問張華，張華說：「可取蜀地桐木，刻成魚形，則可以敲響。」於是照張華的辦法去做，果然數里之外都可以聽到鼓聲。
當初東吳未滅時，斗星與牛星之間常有紫氣，相信道術的人都認為這是象徵吳正強大，不可征伐，只有張華不以為然。吳平之後，紫氣更加明顯。張華聽說豫章人雷煥精通讖緯天象，就邀請雷煥，與他同宿，避開旁人對他說：「我們一起去尋察天象，可知將來的凶吉。」二人登樓仰觀天象，雷煥說：「我觀察很久了，斗星牛星之間，很有異常之氣。」張華說：「是何吉祥徵兆呢？」雷煥說：「是寶劍的精氣，上徹於天。」張華說：「你說得對。我少年時，有個相面的說，我年過六十，位登三公，並當得到寶劍佩帶。這話大概是效驗的。」因而又問道：「劍在哪個郡？」雷煥說：「在豫章豐城。」張華說：「想委曲您到豐城做長吏，一起暗地尋找此劍，可以嗎？」雷煥答應了。張華大喜，立即補雷煥為豐城令。雷煥到豐城後，挖掘監獄屋基，下挖四丈多，發現一個石匣，光氣異常，匣中有雙劍，劍上都刻有字，一名龍泉，一名太阿。這天晚上，鬥牛之間的光氣消逝了。雷煥用南昌西山北巖下的土擦拭二劍，光芒艷麗四射。用大盆盛水，把劍放在上面，看去光芒炫目。派使者送一劍和北巖土給張華，留一劍自己佩用。有人對雷煥說：「得到兩個只送一個，瞞得過張公嗎？」雷煥說：「本朝將要大亂，張公也要在亂中遭禍。此劍當懸於徐君墓樹之上。此為靈異之物，終究會化為他物而去，不會永遠為人所佩帶。」張華以為南昌土不如華陰赤土，給雷煥寫信說：「詳觀劍文，此劍就是干將，與其相配的莫邪，怎麼沒有送來？雖然二劍分離，天生神物，終於會會合的。」因而送給雷煥一斤華陰土。雷煥以此土拭劍，更加精彩明亮。張華被殺後，寶劍不知去向。雷煥死後，其子雷華為州從事，帶劍經過延平津，劍忽從腰間跳出落入水中，雷華使人入水尋劍，找不到劍，只見兩條龍各長數丈，盤繞水中，身有花紋，尋劍的人驚懼而回。片刻光彩照人，波浪大作，於是此劍消逝。雷華歎道：「先父的化為他物之說，張公的終將會合之論，今日算是驗證了。」張華博學多識大多類此，不能詳細記載。
後來司馬倫、孫秀被殺，齊王司馬礒輔政，摯虞向司馬礒寫信說：「張華死後不久，我進入中書省，得到張華在先帝時答詔書的草稿。先帝問張華可以肩負重任輔佐國家托以後事的人，張華回答：『有明德而又至親者，莫如齊王司馬攸，應留在京師鎮撫國家。』他這種忠良之謀，坦誠之言，在他死後才被發現，令人信服，與那些隨波逐流苟且偷安的人是不可同世而論的。議論他的人指責張華在愍懷太子被廢時不能直言廷爭。當此之時，直諫的人會加上違命之罪而死。先聖教導我們，死而無益者，不能責人不死。所以晏嬰作為齊國的正卿，在崔杼之難中不為國君而死；季札是吳國的宗臣，不爭逆命順命之理。循理竭力而仍無所成，是不為聖人之教所責備的。」於是司馬礒向皇帝上奏說：「臣聞使衰微者復興，絕嗣者有繼，這是聖王高明之政；貶斥惡者，褒揚善者，是《春秋》的美義。所以武王滅商後，封比干之墓，旌表商榮之閭門，對生者與死者都應這樣做，道理是一樣的。孫秀叛逆作亂，滅掉開國功臣的封國，殺死正直的大臣，以毀損王室；惡人肆虐，功臣之後多被誅滅。張華、裴危頁因德高威重而被殺，解系、解結以無足輕重之位而被害，歐陽建等無罪而死，百姓都同情他們。當今陛下撥亂反正，天下維新，然而上述受害諸族未蒙恩處理。昔日欒谷降在奴隸僕役之中，而《春秋》仍載其過；幽王斷絕功臣之後，棄逐賢者子孫，而詩人寫詩以諷刺。臣枉居高位，思進誠心淺見，若合聖意，可令群臣共同商議。」大臣議論時各人意見不一，而多數人認為張華是冤案。壯武國之臣竺道又請求長沙王，要求恢復張華的爵位，意見不一，久而未決。
惠帝太安二年(303)，下詔說：「愛惡不同而相攻，奸邪醜化正直，自古就有。故司空、壯武公張華，竭盡忠貞，一心輔助朝政，有謀劃之功，國事每每依賴於他，以前因張華有輔國濟民之大功，應同於其他功臣封國建號，而張華堅決辭讓至於八九次，深刻陳述不宜封建的大道理，終有受挫危家辱身的顧慮，言辭誠懇，足以勸勉遠近之人。張華至誠之心，可誓於神明。張華因伐吳之功，在先帝時受過封爵。後來加封，既不符國家體例，也不宜以小寶超過以前的大賞。張華被害，都是因為奸人圖謀作亂，枉受冤屈。現恢復張華侍中、中書監、司空、壯武公、廣武侯官爵及所沒收的財產印綬符策，派遣使者弔祭。」
當初，陸機兄弟志氣高昂，自以為是東吳名家，初入洛陽，不重視中原人士，見到張華則一面如故，欽佩張華德望風範，以師長之禮待之。張華被殺後，陸機作誄文，又作《詠德賦》以悼念張華。
張華著有《博物誌》，還有一些詩文，都流行於世。張華有兩個兒子：張..、張韙。