此诗前两句首先描绘出一位贫妇的画像：她鬓云散乱，头上别着自制的荆条发钗，身上穿着当年出嫁时所穿的布裙，足见其贫困寒俭之甚（“世所稀”）。这儿不仅是人物外貌的勾勒，字里行间还可看出一部夫妇离散的辛酸史。《列女传》载“梁鸿、孟光常荆钗布裙”。这里用“荆钗”、“布裙”及“嫁时衣”等字面，似暗示这一对贫贱夫妇一度是何等恩爱，然而社会的动乱把他们无情拆散了。“布裙犹是嫁时衣”，既进一步见女子之贫，又表现出她对丈夫的思念。古代征戍服役有所谓“及瓜而代”，即有服役期限，到了期限就要轮番回家。从“正是归时”四字透露，其丈夫大概是“吞声行负戈”的征人吧，这女子是否也曾有过“罗襦不复施，对君洗红妆”（杜甫《新婚别》）的誓言，那是要读者自去玩味的。
于是，三句紧承前二句来。“胡麻好种无人种”，可以理解为赋（直赋其事）：动乱对农业造成破坏，男劳动力被迫离开土地，“纵有健妇把锄犁，禾生陇亩无东西”，田园荒芜。如联系末句，此句也可理解为兴：盖农时最不可误，错过则追悔无及；青春时光亦如之，一旦老大，即使征人生还也会“纵使相逢应不识”呢。以“胡麻好种无人种”兴起“正是归时底不归？”实暗含“感此伤妾心，坐愁红颜老”意，与题面“怀良人”正合。
这还不能尽此句之妙，若按明人顾元庆的会心，则此句意味更深长。他说：“南方谚语有‘长老（即僧侣）种芝麻，未见得。’余不解其意，偶阅唐诗，始悟斯言，其来远矣。胡麻即今芝麻也，种时必夫妇两手同种，其麻倍收。长老，言僧也，必无可得之理。故云。”（《夷白斋诗话》）原来芝麻结籽的多少，与种时是否夫妇合作大有关系。诗人运用流行的民间传说来写“怀良人”之情，十分切贴而巧妙。“怀良人”理由正多，只托为芝麻不好种，便收到言在此而意在彼、言有尽而意无穷的效果。所以，此诗末二句兼有赋兴和传说的运用，含义丰富，诗味咀之愈出，很好表达了女子“怀良人”的真纯情意。用“胡麻”入诗，这来自劳动生活的新鲜活跳的形象和语言，也使全诗生色，显得别致。
绝句“宛转变化，工夫全在第三句，若此转变得好，则第四句如顺流之舟矣”（杨载《诗法家数》）。此诗末句由三句引出，正是水到渠成。“正是归时底不归？”语含怨望，然而良人之不归乃出于被迫，可怨天而不可尤人。以“怀”为主，也是此诗与许多怨妇诗所不同的地方。