開元八年（720）正月，宋璟突然被免去宰相職務，跟姚崇一樣以「開府儀同三司」的榮銜成為國策顧問。他在相位上停留的時間也跟姚崇差不太多，實際上只有三年。[28]
以此為標誌，短暫而難忘的賢臣時代宣告結束。
這是一個君臣共治的時代。雙方都在小心翼翼地進行磨合和探索，試圖在強有力的君主和他的輔臣之間建立一種健康的關係。因此，這也是一個克制的時代。玄宗謹慎而明智地運用著皇權；宰相勤勞國事，同時防止國家進行勞民傷財和野心勃勃的冒險行動，有如帝國的定海神針。[29]
難怪姚崇和宋璟雖為名相，執政期間卻並沒有多少驚天動地的作為。因為他們的治國方略和時代特徵就是這樣十六個字：四夷來寇，驅之而已；百姓富饒，稅之而已。[30]
宋璟卻還是下台了。
導致他下台的原因在司法和財政。也許是為了保證社會的安定和政權的穩固，宋璟對罪犯們沒完沒了的申訴極為反感和厭惡，竟將積壓案件全部交給監察部門處理，並且交代政策：認罪服法的寬大處理，繼續上訴的統統關起來。
結果民怨沸騰，就連藝人也看不下去。當時天旱，一個優伶在表演節目時便扮作旱魔在皇帝面前手舞足蹈。
玄宗問：你這傢伙怎麼跑出來了？
扮作旱魔的藝人答：奉宰相之命。
玄宗問：此話怎講？
藝人答：三百多苦主被宰相關押，旱魔能不出來？
玄宗很以為然。[31]
不過，直接讓宋璟倒台的是貨幣問題。我們知道，中華帝國是沒有銀行的，貨幣在理論上只能由官方發行。然而由於商業的發達，官鑄的銅錢根本不夠使用。而且隨著貨幣需求量的迅速增長，它們的質量也變得低劣，還不如民間私鑄的銅錢。政府也只好允許私錢流通，以免貿易呆滯。
宋璟和他的搭檔卻試圖一勞永逸地解決這個問題。他們奏請恢復私鑄銅錢判處死刑的禁令，並派專使前往私鑄最為盛行的地區治理整頓。結果，專使的雷厲風行導致了物價的大幅度波動，民不聊生，怨聲載道，輿論嘩然。
兩位宰相只好為他們災難性的失敗埋單。[32]
問題沒有得到解決，短板卻暴露出來，那就是帝國的多數官員都不善理財，而且沒有興趣。實際上，自從漢武帝獨尊儒術並建立起文官制度，話語權就掌握在儒生手裡。在他們的評價體系中，佔第一位的是所謂道德文章，其次才是管理才能；而在管理才能中，理財又最為他們鄙視，甚至被看作小人的伎倆和行徑。不被罵作卑劣，已是萬幸。
可惜帝國不能只靠道德文章來維持。國家機器的正常運轉要用錢，王公貴族的窮奢極欲要用錢，雄心勃勃的對外擴張更要用錢。錢，不由天降，不由地生。沒人理財，皇帝靠什麼過日子，官員靠什麼領工資，天下靠什麼致太平？
於是，漢有桑弘羊，宋有王安石，唐有宇文融。
宇文融是在宋璟退場剛好一年後浮出水面的，當時官職不過正八品上的監察御史，提出的方案是查戶口。這並非沒有道理。由於種種原因，一些農民離鄉背井不在原籍，有的定居外地成為逃戶，有的流離失所成為流民。前者造成國家財政流失，後者成為社會不安定因素。因此，無論從經濟還是政治的角度，將他們重新納入戶籍管理都十分必要。
玄宗批准了宇文融的方案，並任命他作為特使專門處理此案。宇文融也不負厚望。經過不斷努力和調整政策（比如允許主動申報的逃戶免稅六年），這項工作大獲成功。三年半以後，八十多萬農戶和相應的田畝被登記在冊，相當於帝國總人口的百分之十二。皇帝對此十分滿意，宇文融則被任命為監察部的副部長，後來又兼任財政部副部長。[33]
然而反對的聲音也不絕於耳。
反對有經濟和政治兩方面的原因。實際上，移民他鄉的農戶之前得以逃稅，是因為依附於當地土豪。這些土豪往往是帝國的官員或他們的家族。因此，宇文融的行動就損害了暴發戶的利益，何況那些地產商還有著官方背景。
政治的原因則在宇文融和他的團隊享有特權。由於是皇帝的特派員，他們在帝國的官僚體系之外自行其是，形成了一個不受國家機器控制的特殊群體。宇文融也毫不客氣地以欽差大臣自居，每到一處都要召集男女老少宣示聖旨，給予種種優惠政策，心滿意足地聽他們感恩戴德痛哭流涕。
於是，當宇文融和他的團隊巡視天下時，他們就變成了流動的中央政府。各級地方官員畏懼其特權，大小政務都要先報告宇文融，再報告中書省。就連判處死刑的罪犯，沒有宇文融點頭核准，地方官也不敢擅自行刑。[34]
這就完全打亂了正常的行政管理秩序，也對帝國的官僚集團構成了威脅，以至於他們不得不群起而攻之。而且從理論上講，這也是在捍衛國家制度和人格尊嚴。畢竟，中央集權的帝國不該政出多門，州縣長官也不該聽命於特使。
反對派的領袖是張說。
張說是在宇文融擔任特使之後半年重歸相位的，起先擔任的職務也是兵部尚書、同中書門下三品，一年半以後成為首相，任中書令。他的捲土重來一般被認為標誌著玄宗執政理念和基本國策的調整，因為張說是姚崇的死對頭。
姚崇不喜歡張說是有原因的。作為武則天的重臣，他跟狄仁傑一樣主張務實，討厭舞文弄墨和誇誇其談。何況張說還難免口是心非之嫌，舊史就認為當年如果不是宋璟等人提出警告，張說未必不會作偽證。據說，張說甚至還想私下裡修改有關歷史記載，只不過遭到了史官的拒絕。[35]
玄宗看中的，卻恰恰是張說的文才，甚至稱他為「當朝師表，一代詞宗」。用這樣一個適合擔任精神文明建設辦公室主任或者作協主席的人做首相，只能說明皇帝開始由求真務實變為好大喜功。沒錯，制定禮儀需要當朝師表，粉飾太平需要一代詞宗，張說自有張說的作用。[36]
何況張說也並非只務虛不務實，裁軍二十萬和改革兵制就是他的手筆。當時，玄宗不敢相信可以減少兵員，張說卻回答說：臣久在疆場，熟悉邊務，很清楚將帥們的擴軍不是為了備戰，而是為了自肥。更何況，兵不在多而在精，將不在勇而在謀。陛下如不放心，臣願以全族性命擔保。
結果，邊防軍由六十萬變成四十萬，裁減三分之一。[37]
更大的動作，則是將政事堂改為中書門下。
這可並不僅僅只是更名，而是要改制。因為更名之後用印也要變。原來用政事堂之印，現在用中書門下之印。政事堂是會議，加印之後的文件只能算會議紀要；中書門下卻是機構，形成的便是政府公文。一樣嗎？不一樣吧！
其他方面當然也都發生了變化。以前，宰相們不過坐而論道，開會的地點也先在門下省，後在中書省。現在則不但有了正規的官署，還有了五個下屬辦事機構。借用現代政治術語，就是國務會議變成了國務院。與之相適應，原來的集體負責制也會變成個人負責制，甚至首相的獨斷專行。[38]
後來一位宰相能獨專朝政十幾年，原因之一在此。
當然，這並不該張說負責，因為集權化正是姚崇時代就已經開始的趨勢和政策。但可以肯定，張說既然要提高宰相地位，加強宰相權力，便容不得別人節外生枝。何況作為科舉官僚和文壇領袖，他也看不起宇文融這樣靠世襲特權進入官場的北周皇室後裔，以及其他那些沒有學問和文采的務實派官員。總之，他們的矛盾不可調和，只看誰勝誰負了。
[28]宋璟於開元四年（716）閏十二月二十八日拜相，開元八年（720）正月二十八日罷相，擔任宰相共三年一個月。
[29]請參看崔瑞德《劍橋中國隋唐史》。
[30]引文見柳芳《食貨論》。
[31]見《資治通鑒》卷二百一十二開元八年正月條。
[32]以上據崔瑞德《劍橋中國隋唐史》，同時參看《資治通鑒》卷二百一十二開元八年正月條。
[33]見《資治通鑒》卷二百一十二開元十二年八月條，同時參看崔瑞德《劍橋中國隋唐史》。
[34]以上見兩《唐書》之宇文融傳，《資治通鑒》卷二百一十二開元十二年八月條，同時參看崔瑞德《劍橋中國隋唐史》。
[35]張說由於宋璟的告誡而在出庭作證時說實話，見兩《唐書》之宋璟傳；要求修改《則天實錄》歷史記載事，見《資治通鑒》卷二百一十二開元九年十二月條。
[36]這一觀點引自許道勳、趙克堯《唐玄宗傳》，唐玄宗對張說的評語見《全唐文》卷二十二《命張說兼中書令制》。
[37]見兩《唐書》之張說傳，《資治通鑒》卷二百一十二開元十年八月條。
[38]從政事堂到中書門下的變化，見《資治通鑒》卷二百一十二開元十一年是歲條及胡三省注。