第二首詞以“江南憶，最憶是杭州”領起，前三字“江南憶”和第一首詞的最后三字“憶江南”勾連，形成詞意的連續性。后五字“最憶是杭州”又突出了作者最喜愛的一個江南城市。如果說第一首詞像畫家從鳥瞰的角度大筆揮灑而成的江南春意圖，那么，第二首詞便像一幅杭州之秋的畫作了。
作者很愛西湖的春天，他在詞里偏偏不寫杭州之春，這可能是為了避免和第一首詞所寫的春景重復。他寫杭州之秋，一寫靈隱寺賞月賞桂，一寫 高亭之上觀錢塘江潮。兩句詞就寫出兩種境界。“山寺月中尋桂子”的“山寺”，指的是西湖西邊的靈隱寺。這座古剎有許多傳說，有的還蒙上一層神話色彩：傳說靈隱寺的桂花樹是從月宮中掉下來的。作者曾在寺中賞月，中秋節桂花飄香，那境界使他終身難忘。山、寺、月影下，尋桂子，寫出了幽美的環境，也寫了置身其間的詞人的活動。然而，詞人回憶杭州還有另一種境界使人難忘。那就是“郡亭枕上看潮頭”，錢塘江潮是大自然的奇觀，潮頭可 高達數丈，所以 白居易寫他躺在他郡衙的亭子里，就能看見那卷云擁雪的潮頭了，顯得趣意盎然。“郡亭枕上看潮頭”，以幽閑的筆墨帶出驚濤駭浪的景色，與上句“山寺月中尋桂子”的靜謐而朦朧的美的境界形成鮮明的對照，相輔相成，相得益彰。白居易是熱愛杭州的，所以他在回到北方以后，又產生了“何日更重游”的愿望。