仁宗至和二年（1055年）晏殊去世，晏几道春风得意的生活也戛然而止，他立刻感受到了现实社会的霜刀雪剑。他和六哥祗德，八弟传正及姊妹四人都还年幼，后由二哥承裕的妻子张氏“养毓调护”，嫁娶成家。后来恩荫为太常寺太祝。神宗熙宁七年（1074年），晏几道的朋友郑侠因进《流民图》反对王安石变法而被罗织罪名，交付御史台治罪。政敌们从郑侠的家中搜到晏几道的一首《与郑介夫》（郑侠字介夫），上面写着：“小白长红又满枝，筑球场外独支颐。春风自是人间客，主张繁华得几时？”这些人如获至宝，以讽刺“新政”、反对改革为名，将晏几道逮捕下狱。后来宋神宗释放了晏几道。这件事虽然有惊无险，但经过这么一折腾，原本就坐吃山空的家底更加微薄，晏家的家境每况愈下。这件事对晏几道也是一个不小的打击，他从一个书生意气的公子哥，沦落为潦倒落魄的贵族。