宋天禧四年（1020年），张载出生于长安（今西安）。其名出自《周易·坤卦》：“厚德载物”。
张载从小天资聪明，十岁时随外傅学习，就表现出不同常人的品格，“志气不群，知虚奉父命”。少年丧父，使他成熟较早。当时西夏经常侵扰宋朝西部边境，宋廷向西夏“赐”绢、银和茶叶等大量物资，以换得边境和平。这些国家大事对“少喜谈兵”的张载刺激极大，宋仁宗庆历元年（1041年），张载年近21岁时，写成《边议九条》，向当时任陕西经略安抚副使、主持西北防务的范仲淹上书，陈述自己的见解和意见，打算联合焦寅（陕西永寿人，精兵述）组织民团去夺回被西夏侵占的洮西失地，为国家建功立业，博取功名。
宋仁宗康定元年至庆历二年（1040年—1042年），范仲淹知永兴军、陕西经略安抚招讨副使、兼知延州（今延安），在延州军府召见了这位志向远大的儒生。张载谈论军事边防，保卫家乡，收复失地的志向得到了范仲淹的热情赞扬，但范仲淹说：“儒者自有名教，何事于兵？认为张载可成大器，劝他作为儒生一定可成大器，不须去研究军事，勉励他去读《中庸》，在儒学上下功夫。
张载听从了范仲淹的劝告，回家刻苦攻读《中庸》，仍感不满意。于是遍读佛学、道家之书，觉得这些书籍都不能实现自己的宏伟抱负，又回到儒家学说上来，经过十多年的攻读，终于悟出了儒、佛、道互补，互相联系的道理，逐渐建立起自己的学说体系。
庆历二年（1042年），范仲淹为防御西夏南侵，在庆阳府（今甘肃庆阳）城西北修筑大顺城竣工，特请张载到庆阳，撰写了《庆州大顺城记》以资纪念。
嘉祐二年（1057年），三十八岁的张载赴汴京（今开封）应考，时值欧阳修主考，张载与苏轼、苏辙兄弟同登进士，在候诏待命之际，张载受宰相文彦博支持，在开封相国寺设虎皮椅讲《易》。期间遇到了程颢、程颐兄弟，张载是二程的表叔，但他虚心待人，静心听取二程对《易经》的见解，然后感到自己学得还不够。第二天，他对听讲的人说：“易学之道，吾不如二程。可向他们请教。”二程由此在京中名声大震。
然而在同二程谈论道学的要义后，他又很自信地认为自己已经求得道义，没有什么其他的事再值得追求，抛弃所有曾经研习过的学说，专心致志学道。表现了他在学术上积极开拓精神，其作《易说》就是在这个时期写成的。
宋仁宗嘉祐二年（1057年），张载进士登第，先后任祁州（今河北安国）司法参军、云岩县令（今陕西宜川境内）著作佐郎、签书渭州（今甘肃平凉）军事判官等职。在作云岩县令时，办事认真，政令 严明，处理政事以“敦本善俗”为先，推行德政，重视道德教育，提倡尊老爱幼的社会风尚，每月初一召集乡里老人到县衙聚会。常设酒食款待，席间询问民间疾苦，提出训诫子女的道理和要求，县衙的规定和告示，每次都召集乡老，反复叮咛到会的人，让他们转告乡民，因此，他发出的教告，即使不识字的人和儿童都没有不知道的。在渭州，他与环庆路经略使蔡挺的关系很好，深受蔡挺的尊重和信任，军府大小之事，都要向他咨询。他曾说服蔡挺在大灾之年取军资数万救济灾民，并创“兵将法”，推广边防军民联合训练作战，还提出罢除戍兵（中央军）换防，招募当地人取代等建议。他还撰写了《经原路经略司论边事状》和《经略司边事划一》等，展现了军事政治才能。
宋神宗熙宁二年（1069年），御史中丞吕公著向神宗推荐张载，称赞张载学有本原，四方之学者皆宗之。神宗召见张载，问他治国为政的方法，张载“皆以渐复三代（即夏、商、周）为对”。神宗非常满意，想派他到二府（中书省枢密院）做事。张载认为自己刚调入京都，对朝廷王安石变法了解甚少，请求等一段时间再作计议，后被任命为崇文院校书。当时王安石执政变法，想得到张载的支持。有一天见到张载，对他说：“朝廷正要推行新法，恐怕不能胜任，想请你帮忙，你愿意吗？”张载一面赞同政治家应大有作为，但又含蓄地拒绝参与新政的行为，遂渐引起了王安石的反感。张载上奏辞去崇文院校书职务，未获批准。不久被派往浙东明州（今浙江省宁波）审理苗振贪污案，案件办毕回朝。此时张载之弟监察御史张戬因反对王安石变法，与王安石发生激烈冲突，被贬知公安县（今湖北江陵），张载估计自己要受到株连，辞官回到横渠。
张载回到横渠后，“俯而读，仰而思。有得则识之，或半夜坐起，取烛以书…… ”依靠家中数百亩薄田生活，整日讲学读书。在这期间，他写下了大量著作，对自己一生的学术成就进行了总结，并亲自带领学生进行恢复古礼和井田制两项实践。为了训诫学者，他作《砭愚》、《订顽》训辞（即《东铭》、《西铭》），书于大门两侧。张载对推行“井田”用力最多，他曾把自己撰写的《井田议》主张，上奏皇帝，并与学生们买地一块，按照《周礼》的模式，划分为公田，私田等分给无地、少地的农民，并疏通东西二渠“验之一乡”以证明井田制的可行性和有效性。今横渠镇崖下村，扶风午井镇、长安子午镇仍保持着遗迹，至今这一带还流传着“横渠八水验井田”的故事。
宋神宗熙宁十年（1077年），秦凤路（今甘肃天水）守帅吕大防认为张载的学术承继古代圣贤的思想，可以用来复兴古礼矫正风化，上奏神宗召张载回京任职。此时张载正患肺病，但他不愿错过施行政治理想和主张的机会，便带病入京。宋神宗任用张载担任同知太常职务（礼部副职）。当时有人向朝廷建议实行婚冠丧祭之礼，下诏礼官执行，但礼官认为古今习俗不同，无法实行过去的礼制。唯张载认为可行，并指出反对者的作为“非儒生博士所宜”，因而十分孤立，加之病重，不久便辞职西归。同年十二月行至临潼，当晚住在馆舍，沐浴就寝，翌日晨与世长辞。享年五十八岁，临终时只有一个外甥在身边。
张载一生，两被召晋，三历外仕，著书立说，终身清贫，殁后贫无以殓。在长安的学生闻讯赶来，才得以买棺成殓，护柩回到横渠。翰林院学士许诠等奏明朝廷，乞加赠恤。神宗下诏按崇文院三馆之职，赐丧事支出“半”数。
北宋神宗元丰元年（1078年）三月，张载葬于横渠大振谷其父张迪墓南，与弟张戬墓左右相对。
南宋宁宗嘉定十三年（1220年），宋赐谥“明公”。
南宋理宗淳祐元年（1241年），赐封郿伯，从祀孔庙。