黄遵宪于1848年4月27日生于广东梅州（梅县）。他的一生可分为四个阶段：即读书应试阶段（1863～1876）；出使阶段（1877年～1894年）；参加变法阶段（1895年～1898年）；乡居阶段（1899年～1905年）。
1876年中举人，1877年随驻日大使何如璋出使日本，曾被日本历史学界称为中国“最有风度、最有教养的外交家”。驻日期间，撰写《日本国志》（1887年成书），全书共四十卷，五十余万字，详细论述日本变革的经过及其得失，借以提出中国改革的主张。驻日期间，针对日本于1875年派兵占领琉球，建议对日本采取强硬的政策和立场。1882年，调任驻美国旧金山总领事。适逢美国议院制订了《限制华工条例》15条，旧金山侨民深受其害，多名侨民被当地政府以“不卫生”为借口而被捕入狱。此前，黄遵宪就此已向清政府提出对策，但未被采纳。因此，他只能在自己职权范围内，尽力保护中国侨民。他在视察旧金山华工聚住地之后，亲自探望关押华工的美国监狱，并叫随从丈量监牢面积，责问美国人：“这里人多地窄、空气污浊，难道监狱里的卫生条件要比华侨的住处好吗。”经过黄遵宪的努力，被拘捕的华侨被全部释放。黄遵宪动用国际法，争得了总领事给华工签发执照的权利。从此，华工来往中美之间，有法可依。
1890年，黄遵宪以分省补用道任驻英国二等参赞，1891年任驻新加坡总领事，从事改善侨胞待遇、保护侨胞财产的工作，发展华侨教育，取得一定成效。1894年中日甲午战争期间，黄遵宪被召回国，任江宁洋务局总办。1895年参与上海强学会、与梁启超、谭嗣同等人创办《时务报》，任湖南长宝盐法道，后署理湖南按察使。戊戌变法期间辅佐湖南巡抚陈宝箴大力推行变革，倡立的湖南保卫局，将近代警政引入中国。1898年8月，被任命为出使日本大臣。戊戌变法失败后，被清政府列为“从严惩办”的维新乱党，由于外国驻华公使等干预，清政府允许黄遵宪辞职还乡。
黄遵宪回乡后仍热心推进立宪、革命等工作，并潜心新体诗创作，被誉为“诗界革命巨子”。同时，他热心家乡教育事业，创立嘉应兴学会议所，自任会长，积极兴办新学堂。晚年黄遵宪在墙上悬挂兴中会会员谢缵泰画的《时局全图》。1904年冬，即黄逝世前一年，他在《人境庐诗草》最后一首诗《病中纪梦述寄梁任父》中写道：“……君头倚我壁，满壁红模糊。起起拭眼看，噫吁瓜分图……。”1905年3月28日，黄遵宪病逝于家乡梅州，终年五十八岁。六年后，辛亥革命爆发，封建制度在中国终结。
私人藏书丰富，光绪十年(1884年)开始筹建藏书楼。光绪二十四年（1898）回到广东之时，一心在其“人境庐”著述和收藏，对于前朝古书和当时实用之书，一并收藏，编撰有《嘉应黄氏人境庐藏书目录》，著录有：经部100种，1 291册；史部253种，5 122册；子部221种，1 425册；集部212种，1 523册；丛书21种，2 468册、自著书4种，21册，合计811种、11 850册。珍本有《修慧寺塔铭》，其余多为普通实用之本。先后积藏有10余万卷图书，供当地学生阅览。