张雨为宋崇国公张九成之后裔。年少时为人潇洒，不拘小节，英气勃勃，有隐逸之志。年二十弃家，遍游天台、括苍诸名山，后去茅山檀四十三代宗师许道杞弟子周大静为师，受大洞经篆，豁然有悟。又去杭州开元宫师玄教道士王寿衍，命名嗣真，道号贞居子，又自号句曲外史。
皇庆二年（1313），随王寿衍入京，居崇真万寿宫。由于素有诗名，京中士大夫和文人学士，如杨载、袁桷、虞集、范梈、黄潽、赵雍等，皆争相与之交游，因而虽隐迹黄冠道士之中，却列文士学人之名，被当世名士称为“诗文字画，皆为当朝道品第一”。仁宗闻其名，欲官之，张雨坚辞不仕，乃归句曲。往来于华阳、云石间，作黄蔑楼，储古图史甚富，日以著经作诗为业。延佑（1314—1320）初离京返杭之开元宫。至治元年（1321），开元宫毁于火，次年回茅山，主崇寿观及镇江崇禧观。惠宗至元二年（1336）辞主观事，日与友人故酒赋诗以自娱。或焚香终日，坐密室，不以世事接目。