李賀當時住在長安崇義里，曾寫了首《崇義里滯雨》，表達了壯志成空，愁恨不已之心情，加上窮困孤獨，自己的心境也像是陰暗的里巷和淅瀝不斷的秋雨一樣。這很能反映他擔任奉禮郎時的處境和心境，與《始為奉禮憶昌谷山居》所要抒發和表達的情感相近。只不過后者更強調家山的美好和對故鄉的懷念。詩人將昔日在家山品茶飲酒的悠閑自在景與眼前退衙回來閉門獨坐的孤獨以及“鶴病悔游秦”的病痛相互比照，旨在強調身在仕途無法實現理想抱負的喟嘆。失落加上鄉愁，更增添幾分愁苦，也更加深了詩人對故鄉的懷念。

詩題中提到的“昌谷山居”即是詩人的故鄉所在地。昌谷，位于今洛陽西南宜陽縣境內。今日的宜陽，顯得偏僻和貧窮，但在隋唐時期，此地則是江淮糧賦陸路和漕運的重要中轉站。其中李賀居家的三鄉驛（今名三鄉鄉），是當時從洛陽通往長安大道上的一座重要驛站。為唐代諸帝東巡必經之地，在此建有連昌宮、蘭昌宮等行宮，武則天、唐玄宗都曾在此駐蹕，其中的連昌宮更因元稹的《連昌宮詞》而聞名千古。

此詩的前半首，扣住“始為奉禮”行筆，總寫居官羈旅無聊之情狀。“掃斷”、“雅回”兩句，敘述官職卑微，門庭冷落；“長槍”、“小樹”兩句，寫江米煮熟，食饌簡單，除棗花外，室無珍玩。這四句，全無半點寒酸氣卻道盡窘迫。即是小官，又全無半點迎逢心思，自是門可羅雀；回到家里自己動手關門，沒有仆人書童；特意說出煮的是江米，或許是在暗示除此之外別無其它；至于小樹棗花，那不過是平凡窄小的院落里一棵普通的樹罷了。如此這般，一個異地為官生活勉強郁郁不得志的年輕人形象躍然紙上。“向壁”、“當簾”兩句，寫閑對如意、角巾，言外寄托“歸歟”之意。

詩的后半首，轉而寫題上“憶昌谷山居”之意。憶家，故作家書，以付黃犬；憶親人，因妻病而追悔至京求仕。“土甑封茶葉，山杯鎖竹根”，可見主人不在；“不知船上月，誰棹滿溪云”，月夜又有誰在船上搖蕩著滿溪的云影？用反詰句收結，意想飛馳，巧妙表現出“憶”的風韻，“末二尤得憶家神理”（《協律鉤玄》卷一引董伯音語）。

李賀很少用律體寫詩，《始為奉禮憶昌谷山居》卻用五言長律寫成，詩韻用上平聲十一真、十二文、十三元通押，很有特色。