张九龄是开元时期的贤相之一，也是唐代唯一个由岭南书生出身的宰相。他耿直温雅，风仪甚整，时人誉为“曲江风度”。
唐玄宗开元二十五年(757年)四月十七日，朝堂上，御史大夫李适之正转达监察御史周子谅对宰相牛仙客的弹劾，以为牛仙客非宰相之才。玄宗一边听，一边暗中生气。牛仙客被他提拔为相不过数月，正受他的信任，这位周子谅哪来的胆子，敢如此肆无忌惮?玄宗命召周子谅上朝，亲自询问，周子谅慷慨陈词，继续申述己见。
玄宗听着听着，更觉言不顺耳。那周子谅竟引谶书之语，言牛仙客不堪为相，他说：“天后朝有谶辞云：‘首尾三鳞六十年，两角犊子自狂颠，龙蛇相斗血成川。’当时有人解释，‘两角犊子’，就是‘牛’;将来一定会有姓‘牛’的人篡夺唐朝皇位。因此，无论如何不能让牛姓的人当宰相!”玄宗正有火无处发，听到此，怒从中来，命左右把周子谅拉到殿外杖打，可怜周子谅被打得昏死过去。一会儿醒过来，玄宗又命人把他拉回朝堂，当着众大臣面用大板子痛击，然后宣布把他流放瀼州(今广西上思)。然而周子谅因伤势过重，在行至蓝田(今陕西蓝田)境内时就一命呜呼了。
首相李林甫又对玄宗说：“周子谅任监察御史，是张九龄推荐的，张九龄难辞其咎!”于是，是月二十日，贬张九龄为荆州长史。此时，张九龄已经被罢宰相之职，正担任右仆射。因此可以认为，这是对张九龄的进一步打击。张九龄被罢相，又被贬出朝廷，标志着唐朝开明政治的结束。从直接的后果看，由于张九龄的下台，使唐朝统治者在心理上和战略上丧失了对边将作乱的防备，唐朝错失了避免安史之乱发生的可能的机会，而安史之乱正是导致唐王朝走下坡路的历史拐点。
安禄山出身胡族，他的家乡柳城(今辽宁朝阳)是一个多民族聚居而又多民族环绕的边境城镇。据现在所知，安禄山最早的职业是互市牙郎，就是在各族间贸易市场上说合的中介人，有时候还从事偷盗活动。
开元二十年，安禄山因盗羊被范阳节度使张守珪手下逮捕。张守珪见安禄山言貌奇伟，有一副拼命三郎的架势，而且眼下在大唐与奚、契丹的战争中正需要这样的人，于是免其死罪，将他留在帐前让其戴罪立功。安禄山从此开始了他的军事冒险生涯。由于安禄山骁勇善战，所以多次受到张守琏的赏识和提拔，并收他为义子，委以重任。
开元二十一年，张守珪派安禄山去朝廷奏事。身为中书令的宰相张九龄看到安禄山后，向任侍中的另一位宰相裴光庭说：“将来乱幽州的，就是这个胡人。”史书上的这个记载很让我们怀疑，因为在这个传说中，开元年间正直的宰相张九龄有点儿像算命先生，他仅从安禄山的相貌、气质就预言安禄山将来要反，出口未免太轻率。要知道这离安禄山发动叛乱还有2 2年时间，安禄山当时的条件，还远远够不上发动一场成气候的叛乱的首谋人物。显然，这有可能是安禄山发动叛乱后，人们为了称颂张九龄而编的故事。三年后，安禄山因战事失利差一点儿被斩首，倘若唐玄宗当时听了张九龄的话，后来就不会有这个胡人的造反之事。
值得推敲的是，安禄山萌发觊觎天下之心是在天宝初年，在此十多年前，张九龄怎么就预知他会“乱天下”呢?按照历史唯物主义的观点，存在决定意识，先有了可能出现天下大乱的客观条件，然后才有人产生发动叛乱谋反的野心。虽然当时包括安禄山在内的所有人或许都尚无叛乱之心，张九龄却注意到了产生天下大乱的条件出现了萌芽，这是他的敏锐高明之处。
在中央政权的安危方面，与唐玄宗一直盯着皇室内部不同，张九龄感受到的是来自边境地区的威胁。唐朝至玄宗时，边境形势发生了很大变化，为了防御周边民族的侵扰，沿边各地设置了八大军区，长官称节度使。节度使手握重兵，而且有的身兼数镇，帝国的精兵都布置在边境地区。朝廷宠厚边将，边将拥有重兵，军事格局外重内轻，一旦发生边将举兵向阙，中原就无相应的军事力量与之抗衡。一位有识之士对这种形势产生某种敏感或隐忧，应该属于顺理成章的。因此当张九龄看到安禄山这样一位出身胡族的将军因为战功甚至可以免除死罪时，可能一种不祥的念头和预感便产生了。但他政治上的这种敏感不仅没有引起玄宗的警惕，反而引起了玄宗的反感，避免唐帝国严重动乱的第一个机会，便这样被轻易错过了。
从张九龄几次触怒玄宗的事情来看，他与玄宗的重要分歧之一表现在边防政策上。玄宗采取扩张政策，奖励边功，宠厚边将;张九龄则抑制边将，反对重用那些靠军功而进身的边将。张九龄之所以坚持要杀安禄山，主要是从抑制边将的动机出发，这与他反对任命张守珪为宰相是一致的。如果玄宗听取了张九龄的意见，对边将稍加裁抑，哪怕是提高一点儿警惕的话，可能安禄山也不会蕴蓄十年，坐大河北，最后造成“禄山一呼，四海震荡”的局面。现在看来，张九龄是唯一一位有可能以自己的努力阻止安史之乱发生的宰相，可惜他过早地被罢黜了。
另一宰相李林甫缺乏政治远见，他不仅没有去抑制边将，反而重用番将，为安禄山的步步高升和培植私人势力提供了条件。唐朝建立以来，统兵出征或御边的将军都是忠厚名臣，并且不长久担任元帅，不以宰相或权臣遥领，也不让一人兼任几个军区的长官，战功卓著的常常入朝为相，如李靖、李勋、刘仁轨、娄师德等人都曾出将入相。玄宗即位以后，薛讷、郭元振、张嘉贞、王睃、张说、杜暹、萧嵩、李适之等人，都是以边帅入朝任宰相。那些出身四夷番族的将军，即便像阿史那社尔、契苾何力那样才略出众，也不曾专任一军元帅，而是任用朝廷大臣为使职，对番将加以管领。
李林甫担任宰相后，深感自己在政坛上缺乏两方面优势，一是没有玄宗喜欢的边功，二是缺乏社会上崇尚的学术。他感到对自己相位威胁最大的，是那些既有学术又有军功的边将，他们出将入相，只在玄宗转念之间，只有阻断他们入朝为相的道路，才可能巩固自己的相位。于是李林甫上奏玄宗：“文士为将，怯于冲锋陷阵，不如用出身寒族的武人，或者是出身外族的胡人担任边将，胡人勇敢果断，习于战斗;寒族则孤立无党，不会互通关节。陛下如果能施以恩德，使他们称心如意，这些人都能为朝廷效命疆场。”玄宗觉得李林甫说得有理。开元末年至天宝年间，边境各大军区便大规模提拔寒族、胡族出身的人任将军，胡人将军如安禄山、安思顺、哥舒翰、高仙芝等人，都以军功升任节度使，这些人被称为“番将”。
安禄山的进身，后来又一身兼任数镇节度使，便与宰相李林甫这一“深谋远虑”有关。李林甫的精明打算巩固了自己的相位，却给帝国的危机埋下了种子。与边将常任久戍的同时，帝国精锐的军队都在边境地区戍守，由唐初重内轻外变为重外轻内，最终造成安禄山举兵叛乱，两京沦陷，都是李林甫专宠固位之计谋造成的直接后果。
对于唐朝的边防政策，张九龄有自己的卓识，他也向玄宗提出过合理的建议，甚至在如何对待安禄山这样的边将问题上，特别是安禄山，他都表示过忧虑。但玄宗没有能够听取他的意见。那么，这样一位颇受玄宗器重的宰相，他的建议为什么没有被采纳呢?除了各种客观原因外，也有张九龄个人方面的原因。他太正直，不能见容于晚年的唐玄宗，并被奸相李林甫所陷害。张九龄以正直著称，据司马迁的《资治通鉴》记载：“(玄宗时所用诸相)姚崇尚通，宋璨尚法，张嘉贞尚吏，张说尚文，李元紘、杜暹尚俭，韩休、张九龄尚直，各其所长也。”张九龄的正直表现在他处理与周围每个人的关系上。