杜甫出身于京兆杜氏，一个北方的大士族。其远祖为汉武帝有名的酷吏杜周。他与唐代另一大诗人即“小李杜”的杜牧同为晋代大学者、名将杜预之后。不过两支派甚远，杜甫出自杜预次子杜耽，而杜牧出自杜预少子杜尹。
杜甫的祖为唐初诗人杜审言。杜审言很有才华，但恃才傲世。少与李峤、崔融、苏味道合称“文章四友”。唐高宗咸亨元年（公元670年）擢进士第，为隰城尉。后转洛阳丞。武后圣历元年（公元698），坐事贬吉州司户参军。却在此时得罪同事郭若讷、长官周季重，两人合谋诬陷杜审言，定了死罪。杜甫的叔叔杜并年十三，刺杀周季重，事震朝野。
杜审言因此不死，被武则天召入京师。又因欣赏其诗文，授著作佐郎，官至膳部员外郎。后因勾结张易之兄弟，被流放到峰州。但不久又被诏回。
杜甫的父亲为杜审言长子杜闲，生母为清河东武城人，但在其出生后不久就去世，父亲续娶卢氏。杜甫由其姑母抚养长大。杜甫有兄长，早夭，三个同父异母弟及一同父异母妹，杜甫在诗中常提及他们。但杜甫极少提到继母。