家世
八世祖 耶律倍 辽东丹王，后谥文献钦义皇帝，庙号义宗。
七世祖 耶律娄国 辽燕京留守政事令。
六世祖 耶律国隐 辽将军。
五世祖 耶律合鲁 辽太师。
高祖 耶律胡笃 辽太师。
曾祖 耶律内刺 辽定远将军。
祖父 耶律德元 金朝荣禄大夫、兴平军节度使。
父亲 耶律履 官至尚书右丞，谥文献。
母亲 杨氏 封漆水国夫人。
同辈
长兄 耶律辨才 官至奉国上将军、武庙署令。
次兄 耶律善才 官至龙虎卫上将军，赠工部尚书。
妻子
梁氏 与耶律楚材因战乱分离。
苏氏 苏轼四世孙威州刺史苏公弼之女。
子辈
长子 耶律铉 官至监开平仓。
次子 耶律铸 官至中书左丞相，追封懿宁王，谥文忠。