张说有才智，但脾气暴躁，又好受人贿赂。百官凡奏事有不合他心意的，“好面折之，至于叱骂”，所以与同僚的关系不甚融洽。开元十四年（726年）二月，玄宗召回河南尹崔隐甫，欲授任要官，张说却认为他不通文学，遂奏请拟任金吾大将军；前殿中崔月用与张说关系密切，便推荐他为御史大夫。玄宗拒绝了他的意见，即以隐甫为御史大夫，隐甫心里怨望张说。
御史中丞宇文融，曾建议检括天下游户及籍外占田，设置十道劝农事，分行郡县督责检查，张说担心扰民，屡次从中阻止。这时，宇文融又请求吏部设立十铨，与苏颋等分管选举，凡有论奏，张说又极力抑止，“于是铨选失序”。宇文融愤怒已极，即联合崔隐甫、李林甫共同弹劾张说，说他招引术士王庆则“祠祷解，而奏表其闾”，引僧人道岸“窥诇时事，冒署右职”；其亲吏张观、范尧臣依据张说权势，“市权招赂”，又擅自给太原九姓羊钱千万，言辞“丑惨”。玄宗十分恼怒，即敕令源乾曜、崔隐甫、刑部尚书韦抗于御史台鞫审张说。
源乾曜奉诏鞫审张说，罪状多属实，玄宗派高力士去看张说，见他蓬首垢面，坐在草地上，使用的是瓦器，吃的是粗食，以表示“自罚忧惧”。高力士将此情况回报玄宗，并说：“说往纳忠，于国有功。”玄宗听后也很怜悯他，仅罢去中书令职务，命在集贤院专修国史，只诛杀王庆则等人，受株连者十余人。
开元十五年（727年）正月，御史大夫崔隐甫与中丞宇文融唯恐玄宗再进用张说，一再上言诋毁他。于是“各为朋党”，相互攻讦。玄宗疾恨朝臣朋比为奸，因命张说致仕，隐甫被免官，宇文融也被出为魏州刺史。
开元十六年（728年）二月，以尚书右丞相致仕的张说兼任集贤殿学士。张说虽罢知政事，专文史之任，但玄宗对他的宠遇不衰，“朝廷每有大事，上常遣中使访之”，以征询张说的意见。
开元十七年（729年），再拜张说为尚书右丞相，集贤院学士。不久，又代源乾曜为尚书左丞相。他上任那天，玄宗特命有司供帐，奏音乐，具酒馔，并作御诗一篇以叙此事，仪式热烈而隆重。不久，又以修撰谒陵仪注有功，加封开府仪同三司，其长子张均为中书舍人，次子张垍尚宁亲公主，拜驸马都尉。“当时荣宠，莫与为比。”
开元十八年（730年），张说患病，玄宗每天都遣中使前去看望，并御笔写药方赐予他。由于医治无效，这年十二月病卒。时年六十四岁。赠太师，谥曰文贞。玄宗还亲自为张说撰神道碑文。
张说曾三任宰弼，擅长文学。一生掌文学之任三十多年。有助成文治之功，也颇有武略，可谓文武兼资。他明于政体，改革不合时宜的政治和军事制度。故史家称赞他“发明典章，开元文物彬彬，说居力多”，是推动“开元之治”的一位重要人物。