全诗八句可分为两层，都围绕“还”字来写。前四句写还山的原因，后四句设想还山后的情景。
诗的开头两句说山中带出信来，告诉诗人眼下已是耕种时节。“昨日”，不一定是确指，也可能是前些日子。不说故友捎信而说“山有信”，是一种委婉的说法，同时引出下文“还山”。隐居山中，时而读书，时而就种，魏晋以来一些隐居以求其志的士人们常常以这种方式生活，故信中以“耕种时”相告，催还之意自在其中。次两句紧承前两句，直接点出催还之意。“怪我还山迟”，乃是山中故友即“杜陵叟”“遥传”来的意思，用“遥传”，用“怪”，可见山中故友盼归之切，也看出诗人与他的情谊，故而不可不还。以上四句叙述，说自己当从速还山。
以下四句写还山后的情景，为诗人的设想。“独向潭上酌，无人林下期”，“潭上“林下”为高冠潭口的环境，“酌”和“期”为隐居之地的生活内容，说“独”，说“无”，可见诗人别弟还山后的孤独，其中透露出兄弟之间的深情。这两句虽是对别后情景的设想，但诗人也许在以往的山间生活中对此早有体验，因而不忍便与兄弟分别，“还山迟”的原因也许主要在于此。诗的最后两句仍设想还山后思念弟弟时的情景。“忆汝处”的“处”字，有彼时彼地之意。当诗人还山后想起弟弟的时候，既不能与弟弟同去潭边饮酒，又不能与弟弟携手林下同游，只能“闲卧对鸬鹚”，难以排遣的思念，难以割舍的留恋即在这一生活细节中含蓄地表现出来，不忍分别之情也就在其中了。也有人以为这后四句是转述杜陵叟的话，说杜陵里独处山间，如何思念诗人，如果这样理解，那么此篇便主要是写“杜陵叟”，似与别弟的意义不合。
这首诗写得极为平淡自然，很适于表达山问闲居情趣。而平淡自然中义含不尽之情。诗的前半写不得不归，后半写不忍便归，把故友之情、兄弟之情都表现得很含蓄，很真切。