年少有为
于谦家族世居考城（故里在今河南省民权县程庄镇于庄村）。太祖于伯汉先居山西后迁至苏州，高祖于夔仕元为官。于谦的曾祖父于九思任杭州路大总管，遂迁居杭州钱塘县太平里，故史载于谦为浙江钱塘人。祖父于文明洪武年间任工部主事，父亲于彦昭隐居家乡钱塘不仕，于谦少年时即敬佩仰慕文天祥的气节，悬文天祥像于座位之侧，几十年如一日。
于谦七岁时，有个和尚惊奇于他的相貌，说：“这是将来拯救时局的宰相。”八岁时，他穿着红色衣服，骑马玩耍。邻家老者觉得很有趣，戏弄他说：“红孩儿，骑黑马游街。”于谦应声而答：“赤帝子，斩白蛇当道。”下联不仅工整，而且还显露出他非同寻常的气势。
永乐十九年（1421年），于谦考取辛丑科进士。
巡按江西
宣德元年（1426年），汉王朱高煦在乐安州起兵谋叛，于谦随明宣宗朱瞻基亲征。于谦被任命为御史，待高煦出降，明宣宗让于谦数落他的罪行。于谦正词崭崭，声色震厉，朱高煦在这位御史的凌厉攻势下，被骂得抬不起头，趴在地上不停地发抖（伏地战栗），自称罪该万死。明宣宗大悦，当即下令派于谦巡按江西，平反冤狱数百起。于谦巡抚晋豫于谦上书奏报陕西各处官校骚扰百姓，诏令派御史逮捕他们。
宣德五年（1430），宣宗知道于谦可以承担重任，当时刚要增设各部右侍郎为直接派驻省的巡抚，于是亲手写了于谦的名字交给吏部，越级提升为兵部右侍郎，巡抚河南、山西。于谦到任后，轻装骑马走遍了所管辖的地区，访问父老，考察当时各项应该兴办或者革新的事，并立即上书。一年上书几次，稍有水旱灾害，马上上报。
正统六年（1441年）上书说：“现在河南、山西都积蓄了数百万斤粮食。请在每年三月份时，令府州县报上缺少食物的下等民户，然后按分额支给他们粮食，先给豆类和高粱，其次给小米和麦子，最后给稻谷，等秋收后偿还。因年老有病以及贫困而不能偿还的则给予免除。州县官吏任期已满应当升迁的，如果预备粮不足，不能离任。还要命令风宪官员经常监察。”皇上下令施行。河南黄河沿岸，经常被洪水冲开缺口。于谦令加厚建筑堤坝，每个乡里都要设亭，亭设亭长，责令其督率修缮堤坝。又命令百姓种树挖井，结果当地榆柳夹路，行人也不再受渴了。大同孤立在塞外，按抚山西的官员常走不到，于谦请另设御史来治理。又把镇边将领私人开垦的田地全部收为官家屯田，以资助边防开支。于谦的恩威远为流行，太行山的盗贼为此而不敢露面。
巡抚晋豫
正统年初，杨士奇、杨荣、杨溥主持内阁朝政，都很重视于谦。于谦所奏请的事，早上上奏章，晚上便得到批准，都是“三杨”主办的。但于谦每次进京商议国事时，都是空着口袋进去，那些有权势的人不能不感到失望。
到了“三杨”已经去世，太监王振开始掌权，作威作福，肆无忌惮地招权纳贿。百官大臣争相献金求媚。每逢朝会期间，进见王振者，必须献纳白银百两；若能献白银千两，始得款待酒食，醉饱而归。而于谦每次进京奏事，从不带任何礼品。有人劝他说：“您不肯送金银财宝，难道不能带点土产去？”于谦潇洒一笑，甩了甩他的两只袖子，说：“只有清风。”还特意写诗《入京》以明志：绢帕蘑菇及线香，本资民用反为殃。清风两袖朝天去，免得闾阎话短长。后于谦入朝，推荐参政王来、孙原贞。
通政使李锡逢迎王振的指使，弹劾于谦因为长期未得晋升而心生不满，擅自推举人代替自己。把他投到司法部门判处死刑，关在狱中三个月。后来百姓听说于谦被判处死刑，一时间群民共愤，联名上书。王振便编了个理由给自己下台，称从前也有个名叫于谦的人和他有恩怨，说是把那个“于谦”和被关起来的于谦搞错了，才把于谦放出来，降职为大理寺少卿。后囚山西。
山西、河南的官吏和百姓俯伏在宫门前上书，请求于谦留任的人数以千计，周王、晋王等藩王也这样上言，于是再命于谦为巡抚。当时的山东、陕西流民到河南求食的，有二十余万人，于谦请求发放河南、怀庆两府积储的粟米救济。又奏请令布政使年富安抚召集这些人，给他们田、牛和种子，由里老监督管理。前后在任共十九年，他父母去世时，都让他回去办理丧事，不久便起用原职。
正统十三年（1448年），于谦被召回京，任兵部左侍郎。
保卫京师
正统十四年（1449年）七月，也先大举进犯，王振挟持明英宗亲征。于谦和兵部尚书邝埜极力劝谏，但明英宗不听。邝埜跟随明英宗管理军队，留于谦主持兵部的工作。待到英宗在土木堡被俘，京师大为震惊，大家都不知道该怎么办。郕王监国，命令群臣讨论作战和防守的方略。
侍讲徐珵（即徐有贞）说星象有变化，应当迁都南京。于谦厉声说：“提议南迁的人应当斩首！京师是天下根本，只要一动便大事去矣。难道不见宋朝南渡的故事吗？”于谦力主抗战，得到吏部尚书王直、内阁学士陈循等爱国官员的支持。郕王肯定了他的说法，防守的决策就这样定下来了。
当时京师最有战斗力的部队、精锐的骑兵都已在土木堡失陷，剩下疲惫的士卒不到十万，人心惶惶，朝廷上下都没有坚定的信心。于谦请郕王调南北两京、河南的备操军，山东和南京沿海的备倭军，江北和北京所属各府的运粮军，立即奔赴顺天府，依次经营筹画部署，人心遂稍稍安定。随后，于谦升任兵部尚书，全权负责筹划京师防御。
铲除奸党
郕王刚刚摄政朝议时，右都御史陈镒上奏请求诛杀王振全族，廷臣一时纷纷响应。朱祁钰无法做决定，于是下令择时改议，廷臣则抗议不依。此时，王振党羽、锦衣卫都指挥使马顺站出叱斥百官。户科给事中王竑突然带头在朝廷上猛击马顺，众臣纷纷跟随，马顺当即毙命，一时血溅朝堂，而士卒亦声汹欲诛。郕王朱祁钰看后大惧，欲起身离去，于谦挤到郕王身前，扶臂劝导道：“马顺等人罪该诛死，打死勿论”，众人听后方止，而此时于谦的袍袖已经裂开。在他退出左掖门时，吏部尚书王直握着于谦的手叹道：“国家正是倚仗您的时候。今天这样的情况，即使是一百个王直也处理不了啊！”在那时，朝廷上下都倚重于谦，而于谦亦毅然以社稷安危为己任。
辅助朝纲
当初，大臣担忧国家没有君主，太子年幼，敌寇将至，请皇太后立郕王为皇帝，郕王再三推辞。于谦大声说：“我们完全是为国家考虑，不是为个人打算。”郕王于是受命。九月，郕王即帝位为代宗，于谦进去回答问话，情绪激昂地哭着说：“敌寇得意，要挟持扣留太上皇，这样形势下他们必然轻视中国，长驱南下。请命令各边境的守臣竭力防守遏制。京营士兵的器械快要用完了，需要马上分道招募民兵，令工部制造器械盔甲。派遣都督孙镗、卫颖、张辄、张仪、雷通分兵据守九门重要的地方，军队驻扎在外城的外面。都御史杨善。给事中王竑亦参与这些事，迁徙外城附近的居民进入城内。储存在通州的粮食，令官军自己去支领，用装足的米作为代价，不把粮食留给敌人。文臣像轩倪这样的人，应该用为巡抚。武臣像石亨、杨洪、柳博这样的，应该用为将帅。至于军队里面的事情，我自己承担，没有成效就判我的罪。”对他的意见，明代宗全都认真地接纳了。
十月，敕令于谦提督各营军马。而也先挟持着太上皇（英宗）攻破紫荆关直入，进窥京师。石亨建议收兵固守使敌兵劳累衰竭。于谦不同意，说：“为什么向他示弱，使敌人更加轻视我。”马上分别调遣诸将带领二十二万兵士，在九门外摆开阵势：都督陶瑾在安定门，广宁伯刘安东直门，武进伯朱瑛朝阳门，都督刘聚西直门，镇远侯顾兴祖阜成门，都指挥李端正阳门，都督刘得新崇文门，都指挥汤芦宣城门，而于谦自己和石亨率领副总兵范广、武兴在德胜门外列阵，抵挡也先。把兵部的事交给了侍郎吴宁，把各城门全部关闭，自己亲自督战。下令：临阵将领不顾部队先行退却的，斩将领。军士不顾将领先退却的，后队斩前队。于是将士知道必定要死战，都听命令。副总兵高礼、毛福寿在彰义门北面抵挡敌人，俘虏了一个头目。明代宗高兴，令于谦选精兵聚集在教场，以便调动；再命太监兴安、李永昌同于谦一起管理军务。
当初，也先部队深入，以为早晚就可以攻下京城，及至见到明朝官军严阵以待，有些丧气。叛变了的宦官喜宁教唆也先邀明朝大臣迎接上皇，索取黄金和丝织品以万万计；又邀于谦及王直、胡濙等出城谈判。明代宗不准许。也先更加沮丧。庚申，也先部队窥伺德胜门。于谦令石亨率神机营在空屋里设下埋伏，派几个骑兵引诱敌人。敌人用一万骑兵逼近，副总兵范广发射火药武器，伏兵一齐起来迎击。也先的弟弟孛罗，平彰卯那孩被炮打死，也先部队转移到西直门，都督孙镗抵御他，石亨亦分了部分兵力来到，敌寇撤退。副总兵武兴在彰义门攻打敌军，和都督王敬一起挫败了也先的前锋。敌军正要退却，而几百个骑着马的宦官想争功，冲马争着向前。阵脚乱了，武兴被乱发的箭射死。寇兵赶到土城，居民爬以屋顶，呼喊着用砖石投掷敌人，喧声震天。王竑和福寿的援兵赶到，敌军于是撤退。相持了五天，也先的邀请没人理他，作战又失利，知道不可能达到目的，又听说各地勤王的部队马上要开到，恐怕截断了他的归路，于是拥着上皇由良乡向西去。于谦调各将领追击，到居庸关才回来。评功，加于谦少保、总督军务。于谦说：“四郊多保垒，是卿大夫的耻辱，怎么敢求取赏赐功劳呢！”坚决推辞，明代宗不准。于是增兵守真定、保定、涿州、易州等府州，请求用大臣镇守山西，防止敌寇南侵。
景泰元年（1450年）三月，总兵朱谦奏称敌兵三万围攻万全，敕令范广担任总兵官抵御他：不久，敌寇退，于谦请求即驻兵居庸关，敌寇来则出关剿杀，敌寇退则回京师驻守。大同参将许贵奏北面有三个人到镇上，想朝廷派使者讲和。于谦说：“以前派指挥季锋、岳谦前往讲和，而也先跟着入寇。接着派通政王复、少卿赵荣，见不到上皇就回来了。显然，不能依靠和谈。况者我和他的仇不共戴天，从道理上来说也绝不可以讲和。万一和了他要满足无穷无尽的要求，答应则给我们造成很大的困难，不答应又会发生变乱，这形势也不能讲和。许贵是武臣，而这样恐惧畏缩，怎能敌汽同仇，按法律该处死。”发出文书严厉谴责他。从此边境的将领人人都主张坚守作战，没有敢说讲和的。
当初，也先诸多要挟，都是由喜宁策划的。朱祁镇（英宗）策划镇守大同的将领抓了喜宁，把他杀了。又给王伟想办法，让他引诱杀了奸细田小儿。而且利用间谍实行离间，请求特别释放了忠勇伯把台家，答应封给爵位，让他从中想办法。也先开始有放回上皇的意思，派使者来联系，京师的戒备才稍稍放松了一点。于谦上言：“南京重地，需要有人加以安抚稳定。中原有很多流民，假如遇上荒年，互相呼应聚集成群，这是很值得担心的。请敕令内外守备和各处巡抚用心整顿，防患于未然，召回派往内地召募发兵的文武官员和镇守中宫。”
到了八月，太上皇被留在北方已经一年。也先见中国没有什么事端，更想讲和，使者接连前来，提出把上皇送回。大臣王直等商议派使者前往迎接，明代宗不高兴地说：“朕本来不想登大位，当时是被推上来的。”于谦从容地说：“帝位已经定了，不会再有更改，只是从情理上应该赶快把他接回来罢了。万一他真有什么阴谋，我就有话说了。”明代宗看看他便改变了面色说：“听你的、听你的。”先后派遣了李实、杨善前往。终于把上皇接了回来，这是于谦的功劳。
太上皇已经回来，瓦剌请求朝贡。先前贡使不过百人，正统十三年增加到三千余人，对给予的赏赐总不满足，便入侵。瓦剌又派三千人来朝，于谦请求列兵居庸关以备不测，在京师隆重陈兵，设宴招待。因此说到和议很难依靠，逐条进上安定边境的三个策略。请求敕令大同、宣府、永平、山海、辽东各路总兵官增修墙准备防御。京兵分别隶属于五军营、神机营、三千营，虽然各设有总兵。但不相统一，请求选择精锐十五万人，分为十营团操，从此开始了团营的制度。这事记载在《明史·兵志》中。瓦剌入贡，常常携带以前掳去的人口来。于谦一定奏请酬劳使者，前后赎回了几百人。
当初，永乐年中，投降过来的人被安置在京畿附近的很多。也先入侵时，很多成了内应。于谦想分散遣送他们。因为西南有战事，每次出征，都挑选他们精锐的骑手，从厚资助他们前往，然后再遣送他们的妻子，内患得以平定。杨洪以独石入卫，八个城都给了敌人。于谦使都督孙安率轻骑兵出龙门关占据了它，招募百姓屯田，边战边守，八个城得以收复。贵州苗未平定，何文渊建议撤去布使、按察两司。专设都指挥使司，用大将镇守。于谦说：“不设两个司，是放弃了这地方。”建议遂作罢。于谦认为上皇虽然回来了，但国耻未洗雪，正值也先和脱脱不花结怨，请求趁机派大军，自己前往征讨他，以报复从前的仇恨，清除边患。明代宗不准。
于谦主持兵部工作时，也先的势力正在扩张，而福建邓茂七、浙江叶宗留、广东黄萧养各自拥有部众和自封的封号，湖广、贵州、广西、瑶、侗、苗、僚到处蜂起作乱，前后的军队征集调遣，都是于谦独自安排。当战事匆忙急迫，瞬息万变的时候，于谦眼睛看着手指数着，随口讲述奏章，全都能按照机宜采取正确的方针方法。同事和下属接受命令，彼此看着都感到惊骇佩服。号令严明。虽然是勋臣老将稍有不守法度，立即请圣旨切实责备。一张小字条送到万里外，没有不谨慎小心执行的。他才思的畅通敏捷，考虑的周到仔细，一时没有人能比得上。他性情淳朴忠厚过人，忘身忧国。上皇虽然回来了，一点也不说自己的功劳。东宫改易以后，明代宗命令凡是兼东宫太子宫属者支取两份俸禄。诸臣都表示推辞，只有于谦一再推辞。自己的生活很简单俭朴，所居住的房子仅仅能够遮挡风雨。明代宗赐给他西华门的府第，推辞说：“国家多难，臣子怎么敢自己安居。”坚决推辞，明代宗不准。于是把明代宗前所赏赐的玺书、袍服、银锭之类，全部封好写上说明放到那里，每年去看一看罢了。
明代宗很了解于谦，所议论奏请的事没有不听从的。明代宗曾经派使者到真定、河间采择野菜，去直沽制造鱼干，于谦一说便马上停止。任用一个人，一定悄悄访问于谦。于谦实事求是地回答，没有隐瞒，也不躲避嫌疑怨恨。因此那些不称职的人都怨恨他，而不像他那样被明代宗信用的，亦往往嫉妒他。当敌寇刚刚撤退时，都御史罗通立刻上奏章弹劾于谦登记的功劳薄不实在。御史顾曜说于谦太专权，干预六部的大事奏请实行，好像他就是内阁一样。于谦根据祖制反驳他们，户部尚书金濂亦上疏为他争辩，但指责他的人还是不断收集他的材料。各御史多次用苛刻的文词上奏弹劾他，全靠景泰帝力排众议，加以任有，他才得以尽量实现自己的计划。
于谦的性格很刚强，遇到有不痛快的事，总是拍着胸脯感叹说：“这一腔热血，不知会洒在哪里！”他看不起那些懦怯无能的大臣、勋臣、皇亲国戚，因此憎恨他的人更多。又始终不赞成讲和，虽然上皇因此能够回来，但上皇并不满意。徐珵因为提出迁都南京，受到于谦斥责。这时把名字改为有贞，比较容易得到提升进用，经常咬牙切齿地恨于谦。石亨本来因为违犯了军法被削职，是于谦请求明代宗宽恕了他，让他总理十营兵，但因为害怕于谦不敢放肆，也不喜欢于谦。德胜门一仗的胜利，石亨的功劳并不比于谦大，而得到世袭侯爵，内心有愧，于是上书推荐于谦的儿子于冕。明代宗下诏让他到京师，于谦推辞，明代宗不准。于谦说：“国家多事的时候，臣子在道义上不应该顾及个人的恩德。而且石亨身为大将，没有听说他举荐一位隐士，提拔一个兵卒，以补益军队国家，而只是推荐了我的儿子，这能得到公众的认可吗？我对于军功，极力杜绝侥幸，绝对不敢用儿子来滥领功劳。”石亨更是又愧又恨。都督张辄因为征苗时不守律令，被于谦弹劾，和内侍曹吉祥等都一向恨于谦。
夺门之变
景泰八年（1457年）正月壬午，石亨和曹吉祥、徐有贞迎接上皇恢复了帝位，宣谕朝臣以后，立即把于谦和大学士王文逮捕入狱。诬陷于谦等和黄囗制造不轨言论，又和太监王诚、舒良、张永、王勤等策划迎接册立襄王。石亨等拿定这个说法，唆使科道官上奏。都御史萧维祯审判定罪，坐以谋反，判处死刑。王文忍受不了这种诬陷，急于争辩，于谦笑着说：“这是石亨他们的意思罢了，分辩有什么用处？”奏疏上呈后，英宗还有些犹豫，说：“于谦是有功劳的（谦实有功）。”徐有贞进言说：“不杀于谦，复辟这件事就成了出师无名。”明英宗的主意便拿定了。正月二十三日，于谦被押往崇文门外，就在这座他曾拼死保卫的城池前，得到了他最后的结局——斩决。史载：天下冤之！于谦被杀之后，按例应该抄家，可抄家的官员到于谦家时，才发现这是一项十分容易完成的工作，因为于谦家里什么也没有，除了生活必需品外根本就没有多余的钱财（家无余财）。遂溪的教谕吾豫说于谦的罪应该灭族，于谦所推荐的各文武大臣都应该处死。刑部坚持原判这才停止了。千户白琦又请求写上他的罪行，刻板印刷在全国公布。
诬告被杀
于谦自从土木之变以后，发誓不和敌人共生存。经常住在值班的地方，不回家。一向有痰症病，明代宗派太监兴安、舒良轮流前往探望。听说他的衣服、用具过于简单，下诏令宫中造了赐给他，所赐东西甚至连醋菜都有了。又亲自到万岁山，砍竹取汁赐给他。有人说明代宗太过宠爱于谦，兴安等说：“他日夜为国分忧，不问家产，如果他去了，让朝廷到那里还能找到这样的人？”到抄家的时候，家里没有多余的钱财，只有正屋关锁得严严实实。打开来看，只有朱祁钰赐给的蟒袍、剑器。于谦死的那天，阴云密布，全国的人都认为他是冤枉的。有一个叫朵儿的指挥，本来出自曹吉祥的部下，他把酒泼在于谦死的地方，恸哭。曹吉祥发怒，鞭打他。第二天，他还是照样泼酒在地表示祭奠。
都督同知陈逢被于谦的忠义感动，收敛了他的尸体。过了一年，于谦的养子于康将其归葬于杭州西湖南面的三台山麓。陈逢，是六合人。曾被推举为有将领之才，是从李时勉门下举荐的。皇太后开始时不知道于谦的死，听说以后，叹息哀悼了几天。英宗也后悔了。
沉冤得雪
于谦已死，由石亨的党羽陈汝言任兵部尚书。不到一年，所干的坏事败露，贪赃累计巨万。明英宗召大臣进去看，铁青着脸说：“于谦在景泰朝受重用，死时没有多余的钱财，陈汝言为什么会有这样多？”石亨低着头不能回答。不久边境有警，明英宗满面愁容。恭顺侯吴瑾在旁边侍候，进谏说：“如果于谦在，一定不会让敌人这样。”明英宗无言以对。这一年，有贞被石亨中伤，充军到金齿口。又过了几年，石亨亦被捕入狱，死于狱中；曹吉祥谋反，被灭族，于谦事情得以真相大白。
明宪宗成化初年，将于冕赦免回来，他上疏申诉冤枉，得以恢复于谦的官职，赐祭，诰文里说：“当国家多难的时候，保卫社稷使其没有危险，独自坚持公道，被权臣奸臣共同嫉妒。先帝在时已经知道他的冤，而朕实在怜惜他的忠诚。”这诰文在全国各地传颂。
明孝宗弘治二年（1489年），采纳了给事中孙需的意见，追赠于谦为特进光禄大夫、柱国、太傅，谥号肃愍，赐在墓建祠堂，题为“旌功”，由地方有关部门年节拜祭。万历中，改谥为忠肃。杭州、河南、山西都是历代奉拜祭祀不止。
万历十八年（1590年），改谥为“忠肃”。
乾隆十六年（1751年），乾隆帝南巡，题写匾额“丹心抗节”。