此诗抒发作者对主人公被斥退罢归的惋惜不满与感慨之情。起句以浩叹发出，“征南将”点明归者以前身份，就是这位南征北战的将军，如今却被朝廷罢斥遣归，投老江头，萧条南归，恓惶而去。“流落”二字融注情感，突发领起，总冒全首，含裹通体，撞心触眼，是为一篇主意所在，一起手即与别者连缀纽结，开出下文若大天地。此句从眼前事写起，次句叙其人先前军职显要，重兵在握。“驱”意为统率，下得有力。“十万师”而能驱遣自如，表现其叱咤风云的才干，足见其人的不凡。不过这些都成为过去，一个“曾”字，深深地荡入雄壮的岁月，饱含唏嘘惋叹。首联今昔对比，叙其身世处境，感慨难以名状。
颔联写友人困顿坎坷，仍眷恋朝廷。“罢归”“老去”指出将军“流落”之因，“归无旧业”说明题目的“襄州”，仅家徒四壁而已。也暗示其人一心戎马，为国征战不解营生。在“古木苍苍离乱后，几家同住一孤城”（《新息道中作》）的时代，老去投归，景况可想。两句上二下三，前后转折，意义上中间含个“而”字在，顿挫而沉郁，有杜诗风神。所谓“明时”，实则为作者对时局的微词。戎马一生、屡树战功的将军，却被罢斥，足见朝廷之“不明”。两句为对文，作互文看更有慨触。次句语由直寻，羌无故实，但“老去”犹“恋”，则使人不能不想起廉颇老矣还希重用的史实，而同情这位被迫退职的军人。
颈联两句又荡回过去，承“曾驱”来，追忆将军昔日独镇“三边”（泛指边防），敌寇生畏，关塞晏然，有功于国。次句为“一剑知轻生”的倒句。“一剑知”，意谓奔勇沙场，忠心可鉴，此外，出生入死，效命疆场，也只有随身伙伴——佩剑知道。有感于时局不明，焉得逢人而语，这是感慨系之的话。两句字斟句酌，句凝字稳。谓语“静”“知”殿在句后，以示其人的功业与赤心。独静三边，为国轻生，以示“罢归”，尚非其时。
以上六句都可视为挥手别后所思，尾联“茫茫江汉上，日暮欲何之”结到眼前，以实景束住，念及其故居旧业无存，因此有“欲何之”的忧问。既罢归而无所可去，伤其恓惶流落，老而不遇。这末尾回首一问，既关合“罢归”句，又与起手“流落”语意连成一片。日暮苍苍，汉水茫茫，老将白发，归去何方。沉沉暮色吞去了一片孤帆，茫茫汉江也似乎吞没了诗人关照的疑问，“欲何之”的关注之情，也使人思绪波荡，触动读者深切的寻思和悬念。