這首詞寫水鄉風光及生活：春末夏初，詞人登上高樓，意欲欣賞江南水鄉迷人的景致。他縱目望江，看到一幕動人的送別場景。

“蓮葉初生南浦，兩岸綠楊飛絮。”開首兩句，很清楚的點出了環境和季節，蓮葉初生，綠楊飛絮，把初夏時節寫得生機勃勃，飛動流走。南浦泛指送別的地方，屈原《九歌·河伯》：“子交手兮東行，送美人兮南浦。”江淹《別賦》：“送君南浦，傷如之何？”該詞所描繪的乃一條大江的渡口附近，河湖池塘，蓮葉初生，微露水面，青翠欲滴，嬌嫩喜人；大江兩岸，綠柳成排，枝條婀娜，飛絮漫天，這意境是頗為迷人的。

詞在點出了季節和渡口附近的環境之后，則進一步交代了具體的時間和場景：“向晚鯉魚風，斷送彩帆何處？”薄暮將來的時候，江面上吹來春末夏初的暖風，帶著濕潤的魚腥味，很容易引起人的情緒和聯想。在渡口附近的江面，出現了一只畫船，它已揚起了彩帆，在朦朧的暮色里，搖起了櫓，蕩起了槳，卻不知去向何處。

以上季節、時間、環境、場景，均是詞人在一定角度親自看到和感到的：“凝佇，凝佇，樓外一江煙雨。”原來詞人正站在江岸的一座高樓之上，在出神，在發愣，這送別場景給詞人帶來的感觸是情意綿綿，還是悵然若失，恐怕他自己也說不清了。再看“樓外”，則是“一江煙雨”。與蒙蒙暮色相合，完全是混沌一片了。此時詞人感情的潮水，也只能是一片混沌。

賀鑄的好友，蘇門四學士之一的張耒為賀鑄的《東山詞》作序有云：“盛麗如游金、張之堂，而妖冶如攬嬙、施之祛，幽潔如屈、宋，悲壯如蘇、李。”這評價或許有點過分，但卻準確地指出了賀詞風格的豐富和多樣。他雖有一些近于蘇軾詞風的豪放詞，又有不少婉約詞。《憶仙姿》前半明快爽朗，生氣盎然，后半朦朧迷離，茫然低沉，正是賀鑄思想矛盾復雜的一個體現。

全詞雖無一字提到離別相思，卻將離別相思之情寫得淋漓盡致。