此詩抒發作者對主人公被斥退罷歸的惋惜不滿與感慨之情。起句以浩嘆發出，“征南將”點明歸者以前身份，就是這位南征北戰的將軍，如今卻被朝廷罷斥遣歸，投老江頭，蕭條南歸，恓惶而去。“流落”二字融注情感，突發領起，總冒全首，含裹通體，撞心觸眼，是為一篇主意所在，一起手即與別者連綴紐結，開出下文若大天地。此句從眼前事寫起，次句敘其人先前軍職顯要，重兵在握。“驅”意為統率，下得有力。“十萬師”而能驅遣自如，表現其叱咤風云的才干，足見其人的不凡。不過這些都成為過去，一個“曾”字，深深地蕩入雄壯的歲月，飽含唏噓惋嘆。首聯今昔對比，敘其身世處境，感慨難以名狀。

頷聯寫友人困頓坎坷，仍眷戀朝廷。“罷歸”“老去”指出將軍“流落”之因，“歸無舊業”說明題目的“襄州”，僅家徒四壁而已。也暗示其人一心戎馬，為國征戰不解營生。在“古木蒼蒼離亂后，幾家同住一孤城”（《新息道中作》）的時代，老去投歸，景況可想。兩句上二下三，前后轉折，意義上中間含個“而”字在，頓挫而沉郁，有杜詩風神。所謂“明時”，實則為作者對時局的微詞。戎馬一生、屢樹戰功的將軍，卻被罷斥，足見朝廷之“不明”。兩句為對文，作互文看更有慨觸。次句語由直尋，羌無故實，但“老去”猶“戀”，則使人不能不想起廉頗老矣還希重用的史實，而同情這位被迫退職的軍人。

頸聯兩句又蕩回過去，承“曾驅”來，追憶將軍昔日獨鎮“三邊”（泛指邊防），敵寇生畏，關塞晏然，有功于國。次句為“一劍知輕生”的倒句。“一劍知”，意謂奔勇沙場，忠心可鑒，此外，出生入死，效命疆場，也只有隨身伙伴——佩劍知道。有感于時局不明，焉得逢人而語，這是感慨系之的話。兩句字斟句酌，句凝字穩。謂語“靜”“知”殿在句后，以示其人的功業與赤心。獨靜三邊，為國輕生，以示“罷歸”，尚非其時。

以上六句都可視為揮手別后所思，尾聯“茫茫江漢上，日暮欲何之”結到眼前，以實景束住，念及其故居舊業無存，因此有“欲何之”的憂問。既罷歸而無所可去，傷其恓惶流落，老而不遇。這末尾回首一問，既關合“罷歸”句，又與起手“流落”語意連成一片。日暮蒼蒼，漢水茫茫，老將白發，歸去何方。沉沉暮色吞去了一片孤帆，茫茫漢江也似乎吞沒了詩人關照的疑問，“欲何之”的關注之情，也使人思緒波蕩，觸動讀者深切的尋思和懸念。