长辈
世祖：纪椒坡景城纪氏一世祖。
高祖：纪坤（1570—1642），字厚斋，坤，字厚斋，明廪膳生。
曾祖：纪钰（1632—1716），钰，字润生，附监生，考授州同。
祖父：纪天申（1665—1732），天申，润生公次子，字宠予，监生，考职县丞。
父亲：纪容舒（1685—1764），容舒，字迟叟，康熙癸巳恩科举人。
兄弟
长兄：纪晫（1706—1777），纪昀同父异母兄。
从兄：纪昭（1717—1770），纪昀之从兄。
妻妾
正妻：马月芳，（？—1795年），东光进士马周菉的二女儿，是纪昀的邻县人。
妾：文鸾、郭彩符、沈明玕。
子女
长子：纪汝佶（1743—1786），字御调，又字侠如，乾隆乙酉举人。
次子：纪汝传（1747—1777），字绪承，曾任九江府通判和江宁府同知。
三子：纪汝似（1766—？），字象庭，曾任广东县丞。
四子：纪汝亿（1784—？），字万斯，纪晓岚第四子。