杨氏一族原居枫桥（今属诸暨），杨维桢曾祖杨文修，字中理，乃宋代名医，人称杨佛子，著有《医衍》、《地理拨沙图》。后杨氏卜居全堂，全堂东南有桐冈山，西南有鲚鲤尖，村中有池名泉塘，村以池名，谐音全堂，池旁卧有铁崖山，“因岩石呈铁色而得名”，今人俗称小山头。
母亲李氏，“梦月中金钱坠怀，而生维桢”。兄弟三人，维桢居中。维桢生于元贞二年（1296），之所以号铁崖，因其父杨宏在铁岩山麓筑楼，红楼植梅百株，楼上藏书万卷，并将梯子撤去，令其与从兄杨维翰（1294～1351，字子固，号方塘，元末画家）专心攻读，每天用辘皿传食，苦读五年， 时人称其为“杨铁崖”，因擅吹铁笛，自号铁笛道人。杨维桢自幼颖悟，能“日记文章千言”，黾勉读书，为增见识，少时又游学甬东。
泰定四年（1327）中进士，任天台县尹，因依法惩治作恶县吏，遭奸吏报复被黜。继任职钱清盐场司令，因请求减轻盐税不允，决意投印去官，方获准减额三千，但以忤上故，十年不获升迁。元修辽、金、宋三史，他作“正统辩”千言，总纂官欧阳玄赞叹：“百年后，公论定于此矣”。后调任江西儒学提举，因交通受阻，未成行。值兵乱，浪迹浙西。张士诚据浙西，屡召不赴，戏答：“江南处处烽烟起，海上年年御酒来。如此烽烟如此酒，老夫怀抱几时开？”后张士诚令其弟张士德上门求教，杨维桢站在元政府立场修书一封，臧否张士诚。信中责备张士诚“铨放私人不承制，出纳国廪不上输”，骂他自选官吏，不缴粮食，确为实情。此外，指出张四个优点“兵不嗜杀，闻善言则拜，俭于自奉，厚给吏禄而奸贪必诛”，以及四个缺点“是非一谬，黑白俱紊”，将帅、守令、亲族等“为阁下计者少而身谋者多”，“狃于小安而无长虑”，“身犯六畏，衅阙多端”。预言他“不有内变，必有外祸”。
杨维桢后以冒犯丞相达识帖睦迩而徙居松江（今属上海市），筑园圃蓬台。门上写着榜文：“客至不下楼，恕老懒；见客不答礼，恕老病；客问事不对，恕老默；发言无所避，恕老迂；饮酒不辍车，恕老狂。”在松江时与张堰杨谦、廊下陆居仁、吕巷吕良佐等交往甚深，吟咏唱和，诗赋相乐。吕良佐倡设“应奎文会”，他为主评，与天下文人墨客切磋诗文，一时天下学士慕名前来赴会者，不可胜计。他又周游山水，头戴华阳巾，身披羽衣，坐于船上吹笛，或呼侍儿唱歌，酒酣以后，婆娑起舞，以为神仙中人。
其父筑室铁崖山中，环绕书楼种梅花数百株，聚书数万卷，。登藏书楼后去掉梯子，如此读书5年。从政后，益聚书。如收藏有《太平纲目》20策、《洞庭杂吟》50卷，《琼台曲》、《历代诗谏》200卷等诗文集。藏书印有“廉夫”、“杨廉夫”二印。值兵乱，浪迹浙西山水间，晚居松江。明初，朱元璋召他修书，作《老客妇谣》诗以拒绝。诗学李贺，明初有人称其为“文妖”。工行、草书，书风炯异于时人，传世书迹有《城南唱和诗卷》、《真镜庵募缘疏卷》、《张氏通波阡表卷》、《游仙唱和诗册》等。
明太祖派翰林詹同奉印登门召其纂修礼、乐书，婉辞不去，答曰“岂有老妇将就木而再理嫁者耶”，以明不仕两朝之意。为躲避官府，回到家乡全堂。兵丁追至，路遇，杨维桢将紫暘宫念作柴汤官，兵丁以其不识字，任其自去。洪武三年，再被有司敦促，无奈赴京，赋《老客妇谣》一首再明不复出仕。抵南京，见朱元璋，奏称：“陛下竭吾所能，不强吾所不能则可，否则有蹈海死耳。”留京百有一十日，俟所修书叙例略定，即乞归家。朱元璋碍其名望太大，不敢过于勉强，行前宋濂赠诗曰：“不受君王五色诏，白衣宣至白衣还。”至家，易箦，急撰《归全堂记》，掷笔而亡。曾做绝命诗：“昨日追随阿母游，锦袍人在紫云楼。谱传玉笛俄相许，果出金桃不外求。”史载杨维桢葬于松江干山，与好友钱惟善、陆居仁合称三高士墓。干山位于松江县西北机山东，相传干将曾铸剑于此，故名。另据今全堂村人相传，杨维桢当葬于桐冈山，惜无史可查。死后，宋濂为他写了《元故奉训大夫江西等处儒学提举杨君墓志铭》。