先世会稽（今浙江绍兴）人，后迁居广陵。父延休，官江都少尹。徐铉十岁能属文，宅居栖霞寺侧。
初事南唐，历官御史大夫、率更令、右散骑常侍，官至吏部尚书。宋开宝七年（974年），赵匡胤令大将曹彬伐南唐。徐铉曾二度奉李煜之命使宋，谋求和平，告太祖曰：“煜事陛下，如子事父，未有过失，奈何见伐？”太祖道：“汝以为父子分两家，可乎？”铉不能对。十一月，徐铉、周惟简再次入奏，徐铉道：“李煜因病未任朝谒，非敢拒诏也，乞缓兵以全一邦之命。”其言极恳切，与太祖辩，反复再三，声气愈厉。赵匡胤辩不过，拔剑而起，怒斥徐铉：“不须多言！江南国主何罪之有？只是一姓天下，卧榻之侧，不容他人酣睡！”徐铉不敢再言。
南唐亡后，随李煜入观宋太祖，命为率更令。累官至散骑常侍。博学多才，有一只象毙命，取胆不获。铉曰：“于前左足求之。”果得。召问铉，对曰：“象胆随四时在足，今方二月，故知之。”徐铉曾奉旨与句中正、葛湍、王惟恭等同校《说文解字》，于宋太宗雍熙三年（986年）完成并雕版流布，世称“大徐本”，又曾编纂《文苑英华》、《太平广记》等。太平兴国三年（978年），徐铉奉宋太宗之命探视李煜，李煜叹息：“当初我错杀潘佑、李平，悔之不已！”徐铉退而告之，宋太宗闻之大怒，赐李煜自尽。淳化二年（991年），遭庐州女僧道安诬，被贬谪为静难行军司马（属邠州）。邠州苦寒，终不御毛褐，致冷疾（风寒），八月二十六日“晨起，方冠带，遽索笔手疏，约束后事，又别署曰：‘道者，天地之母。’书讫而卒，年七十六。”