祖父
杜甫的祖父为唐初诗人杜审言。杜审言很有才华，但恃才傲世。少与李峤、崔融、苏味道合称“文章四友”。唐高宗咸亨元年（670）擢进士第，为隰城尉。后转洛阳丞。武后圣历元年（698），坐事贬吉州司户参军。却在此时得罪同事郭若讷、长官周季重，两人合谋诬陷杜审言，定了死罪。杜甫的叔叔杜并年十三，刺杀周季重，事震朝野。杜审言因此不死，被武则天召入京师。又因欣赏其诗文，授著作佐郎，官至膳部员外郎。后因勾结张易之兄弟，被流放到峰州。但不久又被诏回。
父母
杜甫的父亲为杜审言长子杜闲，生母为清河东武城人，但在其出生后不久就去世，父亲续娶卢氏。杜甫由其姑母抚养长大。杜甫有兄长，早夭，三个同父异母弟及一同父异母妹，杜甫在诗中常提及他们。但杜甫极少提到继母。
妻子
杜甫于30岁时，暂时中断了在齐鲁燕赵间的漫游，回到洛阳，在偃师县西北的首阳山下筑就陆浑山庄，然后迎娶了弘农县（天宝年间改灵宝县）司农少卿杨怡之女为妻。司农少卿为主管农业和财政的副部长，与世代为官的杜甫家可谓门当户对。妻子小他十多岁。遗憾的是杜甫并没有为爱妻立传，杨氏夫人的名字也无从知晓，但杜诗中多处提及她。
儿女
育有两子宗文、宗武，一女凤儿。