孟浩然家在襄阳城南郊外，岘山附近，汉江西岸，名曰“南园”或“涧南园”。题中鹿门山则在汉江东岸，沔水南畔与岘山隔江相望，距离不远，乘船前往，数时可达。汉末著名隐士庞德公，因拒绝征辟，携家隐居鹿门山，从此鹿门山就成了隐逸圣地。
据《襄阳记》载：“鹿门山旧名苏岭山。建武中，襄阳侯习郁立神祠于山，刻二石鹿夹神庙道口，俗因谓之鹿门庙，后以庙名为山名，并为地名也。”孟浩然早先一直隐居岘山南园的家里，四十岁赴长安谋仕不遇，游历吴、越数年后返乡，决心追步乡先贤庞德公的行迹，特为在鹿门山辟一住处，偶尔也去住住，其实是个标榜归隐性质的别业。此诗当作于作者四十岁后隐居鹿门时，即景龙二年（708）至先天元年（712）间，故题为“夜归鹿门山”。