十六世祖：杜预 晋镇南大将军、当阳侯。
曾祖：杜希望。
祖父：杜佑 唐宰相、歧国公。
父亲：杜从郁 唐宰相杜佑第三子。
配偶
裴氏：为郎州刺史裴偃之女，死于杜牧之前。
崔氏：情人刘氏，南陵名家之女儿。
子女
杜承泽：长子，字浚之，早亡。
杜晦辞：二子，（837--？）字行之，小名曹师，母裴氏，曾任：左补阙，史部员外郎，淮南节度判官，曾隐居于阳羡水榭（江苏宜兴别墅）。
杜德祥：三子，（841--？）字应之，小名祝柅，母裴氏，曾任：御史中丞，礼部侍郎，知贡举。
杜兰：继室子，（847--？）继室崔氏所生。
杜兴：继室子，（849--？）继室崔氏所生。
杜真：继室女儿 ，（850--？）继室崔氏所生。
孙
杜遵：三字杜德祥之子。