曾祖 文惠
祖父 文洪(1426－1499)，字功大，号希素，成化元年(1465)举人，十一年(1475)上礼部中乙榜，授涞水县学教谕。其通易学，好吟咏，善诗文，著有《括囊集》、《文涞水遗文》。
父亲 文林(1445－1499)曾任永嘉知县，体贴劳苦，为官清廉，有“却金亭”美誉，擅诗文书法，著有《文温州集》等。
叔父 文森(1462－1525)，文林二弟，成化丁未(1487)进士，曾任河间府任知县，召拜浙江监察御史。都御史毛珵(1452－1533)的亲家。
叔父 文彬(1468－1531)，文林三弟，能武善骑射，以年资贡礼部。
长兄 文徵静(1469－1536)读书善笔札，生平气义自胜，不为贵势拙折，喜好交诗友书画，雅歌堂”为其斋名，后其子文伯仁沿用。刘穉孙娶徵静女，穉孙本人，亦工书好赏鉴，字学苏轼，尤工秦汉篆，名擅一时，亦为徵明家族后学。
岳父 吴愈（1443—1526）字惟谦，南直隶苏州府昆山（今属江苏）人。成化十一年进士。授南京刑吴愈像部主事，官至河南右参政。系之后清代文豪吴伟业曾祖。