耶律楚材在金章宗明昌元年六月二十日（1190年7月24日）生于燕京（今北京），他出身契丹贵族家庭，是辽太祖耶律阿保机的九世孙、东丹王耶律倍八世孙、金朝尚书右丞耶律履之子。其名及字均取自《春秋左氏传》中的“楚虽有材，晋实用之”的典故，蒙古名吾图撒合里，意为“长髯人”。
明昌二年（1191年）六月，耶律履去世，耶律楚材时年两岁（另有明昌元年及明昌三年去世之说），随母杨氏定居义州弘政（今锦州义县），受到母亲全面的教育，十二岁时入闾山显州书院，十三岁时学习诗书。
自耶律楚材的祖父起他们家世代仕于金朝，常居燕京。当时燕京有深厚的汉文化的基础，这使得耶律氏世代受到汉文化熏陶，形成了读书知礼的家风。耶律楚材从小就受到了儒家思想的熏陶，他的理想是按照儒家的学说来治理天下。耶律楚材秉承家族传统，自幼学习汉籍，精通汉文，年纪轻轻就已“博及群书，旁通天文、地理、律历、术数及释老医卜之说，下笔为文，若宿构著”了。
泰和六年（1206年），根据金朝制度，宰相的儿子能够被赐予省掾之职，耶律楚材没有到任。想要参与科举考试，章宗询问参与考试之人关于审案的多件事。当时有十七人参与考试，而只有耶律楚材的回答为优等，于是被征召授予掾职，后任开州同知。
贞祐二年（1214年），金宣宗南迁至汴京，耶律楚材之兄耶律辨才、耶律善才均随行。而耶律楚材留在中都，被留守燕京的丞相完颜承晖任命为左右司员外郎。
成吉思汗十年（1215年），蒙古军攻占燕京，成吉思汗得知他才华横溢、满腹经纶，遂派人向他询问治国大计。据格鲁塞《草原帝国》记载：“占领北京后，在愿意支持蒙古统治的俘虏中，成吉思汗选中一位契丹族王子耶律楚材，他以‘身长八尺，美髯宏声’博得成吉思汗的喜爱，被任命为辅臣。
成吉思汗十四年（1219年），随成吉思汗西征，常晓以征伐、治国、安民之道，屡立奇功，备受器重。
成吉思汗二十一年（1226年），又随成吉思汗征西夏，谏言禁止州郡官吏擅自征发杀戮，使贪暴之风稍敛。
窝阔台汗即位后，耶律楚材倡立朝仪，劝亲王察合台（太宗兄）等人行君臣礼，以尊汗权。从此更日益受到重用，被誉为“社稷之臣”。初执掌中原地区赋税事宜，建议颁行《便宜一十八事》，设立州郡长官，使军民分治；制定初步法令，反对改汉地为牧场；建立赋税制度，设置燕京等处十路征收课税所。
窝阔台汗三年（1231年），任中书令（宰相）。此后，他积极恢复文治，逐步实施“以儒治国”的方案和“定制度、议礼乐、立宗庙、建宫室、创学校、设科举、拔隐逸、访遗老、举贤良、求方正、劝农桑、抑游惰、省刑罚、薄赋敛、尚名节、斥纵横、去冗员、黜酷吏、崇孝悌、赈困穷”的政治主张。在政治、经济、文化各方面殚精竭虑，创举颇多。主要有保护农业，实行封建赋税制度；改革政治体制，提拔重用儒臣；反对屠杀生命，保护百姓生命；禁止掠民为驱，实行编户制度；反对扑买课税，禁止以权谋私；主张尊孔重教，整理儒家经典。使新兴的蒙古贵族逐渐放弃了落后的游牧生活方式，采用汉族以儒教为中心的传统思想和制度来治理中原。使战争不断的乱世转为和平的盛世，使先进的中原封建农业文明得以保存和继续发展，也为后来忽必烈建立元朝奠定了基础。
耶律楚材还主张用孔孟之道作为治国之民的原则，还用儒士来担任各级官吏。耶律楚才不愧为“治天下匠”，为蒙古国的发展做出了重要贡献，是促进蒙古贵族接受中国传统文化的第一人。蒙古人为了纪念耶律楚材的功劳，专门为他修建了祭祠，至今还保存在北京颐和园里。
耶律楚材在成吉思汗、窝阔台汗两朝任事近30年，多有襄助之功。皇后脱列哥那称制时，因屡弹劾皇后宠信之奥都剌合蛮，渐被排挤。
乃马真后三年（1244年）五月十四日（6月20日），耶律楚材悲愤而死。“砥柱中流断，藏舟半夜移”，消息传出，倾国悲哀，许多蒙古人都痛哭，如同失去自己的亲人。汉族的士大夫更是流着眼泪凭吊这位功勋卓著的契丹族政治家，他们的良师益友。蒙古国数日内不闻乐声。正如其同时代人暮之谦在《中书耶律公挽词》中所言：忽报台星折，仍结薤露新，斯民感天极，洒泪叫苍旻。
元世祖中统二年（1261年），忽必烈遵耶律楚材的遗愿，将他的遗骸移葬于故乡玉泉以东的瓮山，即今北京颐和园的万寿山。
至顺元年（1330年），追赠经国议制寅亮佐运功臣、太师、上柱国，追封广宁王，谥号文正。