唐玄宗，想任用李林甫為宰相，徵詢張九齡意見，張九齡回答說：「宰相一職，牽繫著國家的安危，陛下若用李林甫為相，臣擔憂日後會成為朝廷的禍患。」玄宗不聽。

此時的玄宗，在位時間已久，逐漸恣意於享樂，開始倦怠政事，偏偏張九齡處理事情，不管大小事，都要據理力爭，李林甫便時時在玄宗面前說張九齡的不是，玄宗因此漸漸地疏遠張九齡。

李林甫引薦蕭炅為戶部侍郎。蕭炅平常不喜讀書，沒有學問，曾經把「伏臘」唸成「伏獵」，中書侍郎嚴挺之把這事，告訴了張九齡，還說：「尚書省裡怎麼能容許有『伏獵侍郎』？」於是蕭炅被逐出了戶部，改任岐州刺史，所以李林甫心裡是怨怒嚴挺之的。

玄宗從過去諸多事件累積的點點滴滴，認為裴耀卿與張九齡彼此互相袒護。二人同時任丞相職位，也同時遭到免職。張九齡自遭皇上疏遠之後，就害怕終究會被李林甫危害，於是藉著皇上贈他白羽扇的機會，呈獻了一篇〈白羽扇賦〉來自我比況。在這篇賦的最後說：「如果能有適當的機會，盡力施展所長，就算丟了性命，又有何顧忌？」又說：「那怕是秋天來臨，暑熱不再，氣候轉涼，收藏在篋中的白羽扇，也終究會感謝主人恩惠的。」玄宗雖然給了善意的回應，但最後還是罷了張九齡的官。

張九齡是個剛正不阿，直言敢諫的人。玄宗生日時，群臣上壽，百官競獻奇珍異物，唯有他進呈所作《千秋金鑑錄》，俱陳歷來廢興之道，冀能感動聖上，啟沃帝心，真可謂體國情深，用心良苦。

張九齡在相位期間，朝中大小事，他都會力陳利弊得失，竭智盡忠以匡弼君上。玄宗因寵幸武惠妃，欲廢太子，張九齡援引史事，說明太子乃是天下的根本，不當因片面無根之語，就輕言廢立，這才保得太子平安。范陽裨將安祿山，奉命討伐奚、契丹，由於輕敵冒進而大敗，執送京師，依律當斬。玄宗予以特赦，九齡堅持不可，說：「安祿山違反軍紀，喪師辱國，於法必誅，況且其人驕縱傲慢，又有叛逆之相，不殺必留後患。」玄宗不聽，將安祿山放歸范陽。結果釀成安史之亂，大唐險遭覆滅。玄宗倉皇出奔四川後，想起九齡曾力主殺安祿山，以除後患之先見，痛哭流涕，追悔不已，特別下詔褒獎九齡，追贈司徒，並遣使前往韶州致祭。

玄宗雖因張九齡總是拂逆其心意，而將他逐出了朝廷，但終究還是十分珍愛看重他的。每每在宰輔引薦新人時，便會答道：「此人風度像不像張九齡呢？」《新唐書》本傳說，張九齡「諤諤有大臣節」，的確，他從不曲意逢迎，雖屢犯龍顏，遭到斥逐，但他那一代大臣的風範，千載之下，仍令人心儀欽仰，感佩不已。

 
 (張九齡，藉唐玄宗贈他白羽扇的機會，呈獻〈白羽扇賦〉，自我比況。)