严武的父亲是中书侍郎严挺之，为当时名相。严武二十岁便调补太原府参军事，后陇右节度使哥舒翰奏充判官（天国正传写的就是这时的严武）。
安史之乱发生，严武随肃宗西奔，参与了灵武起兵，随后陪驾到凤翔至长安。至德二载（757），任给事中。次年出任绵州刺史，迁东川节度史。不久调回京，任侍御史、京兆尹。乾元二年（761）十二月，被任为成都府尹兼御史大夫、充剑南节并使。这时唐室为了对付吐蕃，合剑南、东川、西川为一道，支度、营田、招讨、经略等统为一体，权力相当大。宝应元年（762）四月，唐玄宗、唐肃宗父子时隔十四日相继去世。七月严武被召回京，入为太子宾客，迁京兆尹兼御史大夫。实际是命他充陵桥道使，监修玄宗、肃宗父子的陵墓。
严武回长安很不顺利。他一离开成都，蜀中便大乱。剑南兵马使徐知道勾结邛州兵占据西川，扼守剑阁，通往京城长安的道路阻塞，不得前行。直到八月，徐知道与兵发生矛盾，被将所杀，叛乱才被平息。严武回京后，在监修二帝陵墓时，颇有魄力，立下功劳。但继任他成都尹职的高适，治蜀力不能支。里吐蕃内犯，攻陷陇右，直通长安。蜀郡西北部的松州、维州、保州等地都被包围，后来终于陷落。人们讥讽高适内战内行（指击败永王璘），外战外行。朝廷于是再命严武为成都尹、剑南节度使，于广德二年初第三次入蜀。
严武抵御外患的本领比高适高明。764年七月，他率兵西征。九月破吐蕃七万余众，拿下了当狗城（四川理县西南），十月又拿下盐川城（甘肃漳县西北）。同时遣汉川刺史崔旰在西山追击吐蕃，拓地数百里，与郭子仪在秦陇一带主力战相配合，终于击退了吐蕃的大举入侵，保卫了西南边疆。
征战途中，严武写下了记述这次战争的《军城早秋》一诗：“昨夜秋风入汉关，朔云边月满西山。更催飞将追骄虏，莫遣沙场匹马还。”诗的前两名表面写景实则暗喻敌军已经进犯边关的形势。后两句表现出诗人指挥若定的大将风度，抒发了大获全胜的信念。杜甫称赞严诗说：“诗清立意新”。
实际上严武的与杜甫的关系极其密切，在成都，他带着仆从和酒肉来看望杜甫，杜甫写道“竹里行厨洗玉盘，花间立马簇金鞍。”严武邀杜甫作其幕僚时写道：“莫倚善题鹦鹉赋，何须不着鵔鸃冠。”
汉末词赋家祢衡，文思敏捷，曾即席作《鹦鹉赋》 ，一挥而就。严武以祢衡的故事，劝杜甫不要单纯以文才自恃，应该走做官的道路，力求充当侍奉皇帝左右的近臣，充分发挥自己的才能。杜甫则写《严中丞枉驾见过》一诗：“扁舟不独如张翰，皂帽还应似管宁。”以张翰（晋时人，字季鸾，遇见不相识的贺司空（循），谈得投机，没告诉家人，便登上贺氏的船，同去洛阳）、管宁（东汉时高士，字幼安，于灵帝末渡海避乱至辽东，常戴皂帽，穿布裙，坐木榻，隐居多年，屡征不出，世称贤者。）婉言谢绝，是说我的行踪飘泊不定，当效张翰那样自由，效管宁避乱他乡过隐居生活。巧于用典，言其情愫，寓意称妙。
然而，杜甫居成都期间，严武数度劝其出仕，杜甫婉言谢绝。后来，因感其诚意，友情难却，入严武幕府任检校工部员外郎，故又有杜工部之称。
此后二人诗作往来频繁，严武成了杜甫除李白，高适之外的又一知音。严武称杜甫为“杜二”。
宝应元年四月，肃宗死，代宗即位，六月，召严武入朝，杜甫送别赠诗《奉济驿重送严公四韵》：远送从此别，青山空复情。
几时杯重把？昨夜月同行。
列郡讴歌惜，三朝出入荣。
江村独归处，寂寞养残生。
永泰元年（765），严武不幸突患疾病，死于成都。诗圣杜甫深切悼念，反复咏吟，对严武作了高度的评价。
“颜回竟短折，贾谊徒忠贞”。“诸葛蜀人爱，文翁儒化成。公来雪山重，公去雪山轻”
把严武的早卒比成颜回、贾谊，给尘世留下了遣憾。把严武比成诸葛亮，比成汉武帝时使蜀郡文物开展起来的文翁，他来去使蜀中崇山峻岭为之载轻载重。杜甫对严武达到推崇备至析程度了。
“锦江春色逐人来，巫峡清秋万壑哀”严武死后追赠尚书左仆射，但死者已矣，当年治蜀的政绩历历在目，时值秋日，杜甫在夔州追忆往事，看到现在的战乱，真使人悲哀不已。而杜甫也终于失去最后的护恃，举家东迁，途中留滞夔州二年，出峡。后来漂泊鄂、湘一带。正是这时写下著名的《阁夜》 ：岁暮阴阳催短景，天涯霜雪霁寒宵。
五更鼓角声悲壮，三峡星河影动摇。
野哭千家闻战伐，夷歌数处起渔樵。
卧龙跃马终黄土，人事音书漫寂寥。
战伐，指崔旰之乱。永泰元年四月，郭英继任剑南节度使兼成都尹；十月，严武旧部崔旰起兵攻郭英，郭逃到简阳，被韩澄杀死。此后，效忠郭的一批武将又联合起来讨伐崔旰，蜀中大乱。然而严武已没，大唐失去了一个将才。