丘迟一生横跨宋、齐、梁三朝，出生成长于刘宋后期。 其父丘灵鞠，也是当时著名文人。
丘迟8岁能文。早年仕于南朝齐，任太学博士、大司马参军。因父丧，两次去职。服丧期满，任西中郎参军。母亡，又去职服丧。以秀才后仟殿中郎、车骑录事参军。入萧衍幕为骠骑主簿。梁武帝时，任散骑侍郎、中书侍郎，领吴兴邑中正，侍诏文德殿。坐事免职。
梁天监三年，出任永嘉太守，在任4年。提倡农桑，重视教化，崇尚俭约富民。虽然他的政绩史书记载较少，却是万历《温州府志》中南梁五十五年内入志的两位郡守之一。 任永嘉太守期间所作《永嘉郡教》一文中说“贵郡控带山海，利兼水陆。实东南之沃壤，一都之巨会。”
梁天监四年（505年），临川王萧宏伐魏，丘迟为谘议参军兼记室，时陈伯之率军抗梁，丘迟以一篇《与陈伯之书》打动陈伯之率部归降，其中“暮春三月，江南草长，杂花生树，群莺乱飞······”描写温州等江南景色，脍炙人口。
回朝后升中书郎、司空从事中郎（一作司徒从事中郎）。
梁天监七年，卒于任所，年仅44岁。