宋洪迈《夷坚志》巳集记有这么一件故事：“长沙义妓者，不知其姓氏，善讴，尤喜秦少游乐府，得一篇，辄手笔口哦不置。久之，少游坐钩党南迁，道经长沙，访潭土风俗、妓籍中可与言者。或举妓，遂往访……媪出设位，坐少游于堂。妓冠帔立堂下，北面拜。少游起且避，媪掖之坐以受拜。已，乃张筵饮，虚左席，示不敢抗。母子左右侍。觞酒一行，率歌少游词一阕以侑之。饮卒甚欢，比夜乃罢。”
《木兰花·秋容老尽芙蓉院》所写时间、景物、情境，都与此事颇为相符。秦观受党祸南迁，是在宋绍圣三年（106年），因此可以初步判断此词很可能就是宋绍圣三年（106年）被贬到长沙时的酬妓之作。