1877 年1126 日傍晚，黄遵宪随何如璋由上海乘轮船启程，一行 30 余人，最后在神户登陆，开始了在日本的外交活动。 日本是亚洲东部的一个岛国，自 17 世纪开始，遭到荷兰殖民者的侵略， 引起社会的变化，民族矛盾加深，其情形与当时中国相似。1868 年，日本发生了明治维新，通过一系列的改革，日本走上了发展资本主义的道路，逐渐 强大起来。1874 年，发生了日本武装侵略台湾的事件，中国人在感到震惊的同时，迫切要求了解日本，想知道明治维新后的日本到底发生了什么变化， 究竟它是怎样学习西方变法自强的。黄遵宪的心情也正是这样。 黄遵宪作为一个友好的使者，到日本后，漫游各地，参加各种集会，结交各方面的人士，与许多日本朋友结下了深厚的友情。异国的风土人情，增 加了他的创作激情，他写下了大量的反映日本历史、现状、自然景色和风情 、民俗的诗歌，后来编成《日本杂事诗》刊行。
1880 年，日本友人源辉声先生在征得黄遵宪同意后，把 《日本杂事诗》的部分原稿，埋藏在东京墨江畔 的家里，由黄遵宪题写了 “日本杂事诗最初稿冢”九个字，刻石竖碑，作为 中日两国人民永久友谊的象征。碑石上还刻着黄遵宪的两句诗：一卷诗兮一抔土，诗与土兮共千古。 同时还有源辉声先生和的诗： 诗有灵兮土亦香，我愿与丽句兮永为邻。 源辉声先生逝世后，安葬于东京都北部的平林寺，诗冢也被迁到该处。 这件事成了中日文化交流史上一段动人的佳话。 在日本期间，黄遵宪开始接触从西方传播到日本的资产阶级民主自由学 说。他刚到日本时，听到关于民主自由的说法是很惊讶的，当他读了法国启蒙运动先驱卢梭、孟德斯鸠的著作后，思想有了明显的转变。根据在日本的亲身体验，使他认识到民主政治比封建专制政治要好，而且认为民主政治代 替封建专制政治是必然的趋势。有一次他对何如漳说： “中国必变从西法。” 如果不像日本那样维新自强，必遭奴役、瓜分之祸。正是这种思想的形成， 使他后来成为我国维新变法运动的积极倡导者。 在日本期间，黄遵宪清楚地看到，日益强盛起来的日本正把侵略矛头指向中国和朝鲜。 1879 年，日本吞并琉球，驻日大臣何如璋给总理衙门和北洋大臣的重要文件共10 余万字，分析了日本国情，陈述了我国应采取的对策， 指出：“琉球如亡，不出数年，闽海先受其祸。”这些预见都被后来的事实 所证明。而这些文件绝大部分都是由黄遵宪草拟的。但清政府却没有采纳黄遵宪在外交政策方面的意见，终使琉球成为日本侵略政策下的牺牲品。黄遵宪只好把他满腔悲愤寄托在他的诗篇 《琉球歌》里。 黄遵宪在日本两年间，不仅广泛接触各方面的代表人物，观察和了解日本政治、经济、社会、文化、教育等方面的情况，同时还努力学习日文，以 便能够直接阅读日本书籍，搜集资料，准备编写一本介绍日本典章制度为主 的书。他以顽强的毅力，克服种种困难，精心收集了 200 多种参考文献。后来他离开日本时这部书的草稿已基本完成。 1882 年，黄遵宪奉命调任驻美国旧金山的领事，写作因而中断。
1885 年，他从美国请假回国，又重新进行编 写，直到1887 年的夏天，这部名为《日本国志》的书终于完成。《日本国志》共 40 卷，约 50 余万字，编目为国统志、邻交志、天文志、 地理志、职官志、食货志、兵志、邢法志、学术志、礼俗志、物产志、工艺 志 12 部分。详细介绍了日本的历史和现状，特别着重介绍了明治维新以后采 取的改革措施及成效。书成之日，黄遵宪写下了 《书成志感》，表 达了他的 心情： 湖海归来气未除，忧天热血几时摅，千秋鉴借吾妻镜，四壁图悬人境庐。 《吾妻镜》是日本一部编年体的史书， 《千秋金鉴录》是唐朝张九龄编 写的历史书。黄遵宪希望借鉴日本的经验，通过维新变法使中国繁荣富强起 来。 这部书的问世，大大加深了中国人对日本国的认识，成为当是中国人了 解和研究日本的必读参考书。 1882 年 1 月，黄遵宪奉命调任驻美国旧金山总领事。 3 月 30 日 . 黄遵宪 刚刚踏上这块美洲大陆，就碰上美国统治集团发动的排华事件。 早年，美国资本家为了开发西部，派人到中国招募了大批华工，到 1880 年时，已达 20 余万人。这些华工到美国后，在人烟稀少的沙漠沼泽里，顶烈 日，冒风雪，修铁路、挖运河、开金矿。在极恶劣的条件下，担负着艰苦的 工作。为了当地的开发和建设，他们流尽了血汗，这一点连美国人也不得不 承认他们的贡献。然而，美国资本家为追求高额利润，用极其残酷的手段对工进行剥削，当他们年老力衰时，就把他们抛弃，不仅如此，美国政府还 把华工置于法律保护之外，掀起一次次的排华事件。 1882 年，美国议会制定 了 《限制华人例案》，对来美华工及侨民作出了许多苛刻的规定，使大批华 工、华侨遭到虐待、迫害和残杀。 黄遵宪到美任职的地方――旧金山，是在美华人比较集中的地方。美国 一小撮种族分子和歹徒为非作歹，十分猖獗，那里经常发生华人住所遭袭击、 华人受侮辱甚至遭殴打的事 件。黄遵宪到美国后，看到这一切，非常气愤。 作为外交人员，他曾向清政府提出建议和应采取的对策。但昏庸腐朽且怯懦 的清政府却根本没有采纳，所以黄遵宪只能在自己职权范围内，凭着一颗热 爱侨胞的心尽力保护侨民，做一点力所能及的工作。 有一次，美国地方政府又向华工寻衅。他们派官员到华人的居住区进行 “巡视”，然后说： “华人 不讲卫生，违反了政府的卫生条例，应予以拘留 和罚款的处置。”许多华人因此遭到逮捕，监狱被关得满满的。黄遵宪闻讯， 迅速赶到拘禁华人的监狱，他叫人仔细丈量了囚房的面积，然后把美国官员 找来，指着肮脏拥挤的牢房，质问： “这里的卫生条件，难道比华人住所好 吗？”美国官员被问得哑口无言。经过黄遵宪的据理力争，美国地方政府只 得把无辜的侨民，从监狱里释放出来。黄遵宪的正义行动，受到了华人一致 的称赞。 1884 年，黄遵宪的母亲病故。第二年，他请假回国。 10 月，黄抵达广州， 他先赴梧州探望父亲，然后乘船回嘉应州。回到阔别多年的家乡，感到格外 亲切。听说黄遵宪回来了，家人、乡亲都来看他，争着向他提出各式各样的 问题，有的问题荒诞又有趣，黄遵宪巧妙地解答了这一道道 “难题”。客人走后，一家人亲亲热热地围灯团坐，只是再不能见到慈母，黄遵宪不免伤心地落下泪来。 接着黄遵宪就开始为 《日本国志》的最后编纂而忙碌。 1886 年，张荫桓 被任命为驻美使臣，他希望黄遵宪能继续担任驻旧金山领事，被黄遵宪辞却。 同年，洋务派官僚、两广总督张之洞，又意欲命黄遵宪巡察南海各岛，也被 黄遵宪辞却。黄遵宪专心致力于 《日本国志》的修改、编纂，直 到 1887 年夏 终于完成。 1889 年，驻法公使薛福成见到 《日本国志》这本书，十分欣赏，连声称 赞： “好书，好书，真是几百年少见的好书。”为此他十分器重黄遵宪，并 为 《日本国志》作了序。同年，薛福成被任命出使英、法、意、比四国，经 薛福成推荐，清政府任命黄遵宪为驻英二等参赞，随同薛福成赴欧洲。这样， 黄遵宪再次开始了他的出使生活。 1890 年 2 月，薛福成乘船到达香港，黄遵宪自嘉应州前来与薛福成会合， 登舟。他们从香港启程，经过了越南、新加坡、锡兰（今斯里兰卡）入红海， 经苏伊士运河进入地中海，再经过法国马赛、巴黎，最后到达英国伦敦。一 路上，黄遵宪被异国风土人情所吸引，更为亚洲弱小国家遭沦丧而感叹。在英国期间，黄遵宪接触了英国政界上层人物，仔细考察了英国君主立 宪的政治制度。他非常推崇这种制度，后来维新变法期间，黄遵宪在湖南， 协助陈宝箴实行地方自治制度，就是以英国为模式的。 不久，黄遵宪又被调任新加坡总领事。后来薛福成在 《出使英法意比四 国日记》中提到了调任黄遵宪一事的原委。那是因为当时北洋海军提督丁汝 昌给朝廷的报告中，说他奉命巡洋时，抵达新加坡一带，目睹当地华侨因为 中国政府没有设领事馆，受了洋人的欺凌剥削，有冤无处诉。他请求中国政 府速派领事到新加坡附近各岛。薛福成考虑将新加坡领事改为总领事，就可 以兼办其他各埠的侨务。经过考虑，他决定委派黄遵宪。因为此人 “历练有 识，持己谨严，接物和平，允堪胜任”。从薛福成的这几句评价里，可以看 出黄遵宪此时已是一个成熟老练的外交家了。 1891 年秋，黄遵宪到新加坡上任。很早以前就不断有华人到南洋一带谋 生，他们努力耕作，辛勤劳动，为当地开发做出了重要的贡献。赢得了当地 人民的赞扬。新加坡是南洋华侨聚居的地区，黄遵宪到任后，经常到各处去 访问华侨，并积极保护华侨的正当权益。经过黄遵宪的力争，清政府 颁布了一些保护华侨的规定，以后，黄遵宪又创立了给华侨颁发 “护照”的 制度。 黄遵宪在新加坡任总领事， 3 年有余，期间身体一直不好，约有一半日 子是在养病中渡过的。尽管如此，黄遵宪仍带病坚持工作，处理外交事务外， 对华侨事务特别关心。那时英属马来西亚半岛锡矿业和橡胶业发展迅速，那 里的华侨人数很多，虽然我国在新加坡设立了总领事，但英国政府却迟迟不 答应我国在吉隆坡等地设副领事。为此黄遵宪据理力争，最后终于达到了目 的。 1894 年，爆发了中日甲午战争。身在异国的黄遵宪，思念祖国，十分关 注战事的发展。 致力维新变法 1894 年底，黄遵宪结束了十几年的外交生涯，回到国内。第二年春天即 去江宁 （今南京）拜见张之洞。黄遵宪怀着满腔忧国之情，准备施展自己的 才干，大干一场。然而张之洞是洋务派的首领，又是一位老官僚，他看惯了 别人在他面前唯唯诺诺，可黄遵宪虽是他部下属员，却无半点奴颜婢膝之态， 而且还本着 “当仁不让”的精神来指教张之洞，使这位大帅很不舒服。所以 黄遵宪自然没有受到重视，被 “置之闲散”， 黄遵宪在湖北办理教案期间，清政府与日本签订了 《马关条约》，听说台湾被割让，黄遵宪心情十分悲痛，然而黄遵宪并没有 “被发入空山”，而是以极大的热情，投身到康有为掀起的维新 变法的运动中。 1897 年夏，黄遵宪被任命湖南长宝盐法道，负责管理一省食盐的生产和运销，同时兼管一路的钱谷和刑名。黄遵宪到达湖南后，原 湖南按察使李经义因事进京，由黄遵宪代理湖南按察使，掌管一省刑狱和官 吏的考核。当时湖南巡抚陈宝箴是支持变法的新派人物，黄遵宪上任后，积 极协助陈宝箴进行政治、经济、文化、教育各方面的改革。在黄遵宪的建议 下，陈宝箴同意创办一所时务学堂，以培植变法人材。黄遵宪还提出邀请梁 启超来湖南担任时务学堂的总教习。 梁启超到湖南后，倡议创办南学会，以推动地方自治。南学会虽名为学 会，但实际上却具有地方议会的规模。它的组织大致是这样：先由巡抚选派 本地绅士名流 10 人、分任总会长、副总会长。然后由总会长、副总会长吸收 州县绅士为会员，组成分会。南学会总会每 7 天讲演一次。由梁启超、黄遵 宪、谭嗣同等人主讲，阐述国际形势和国内大事，宣传维新变法思想，主张 发展地方民族工业。南学会成立后，黄遵宪共作了 9 次讲演，其中南学会举 行的第一次讲演会就是由黄遵宪讲的。由于黄遵宪多年海外生活的经历和生 动的语言，使听者大开眼界，黄遵宪也因此名声大震。 1897 年冬，德国强占胶州湾，瓜分危机迫在眉睫，康有为再次上书光绪皇帝。
1898 年 6 月 11 日，光绪帝颁布《定国是诏》。 “百日维新”正式开始。 然而后来，北京的形势发生了突变。维新派对政治、经济、文化、军事 的改革，触犯了以慈禧太后为首的顽固派的利益，遭到他们极力反对。 9 月 21 日，慈禧太后发动政变，囚禁了光绪皇帝，并宣布 “亲政”，下令逮捕维 新派，百日维新失败了。 顽固派自然不会放过黄遵宪。 10 月 9 日，上海道蔡钧奉命将黄遵宪扣留 于洋务局，派 200 余人围守，候命押解北上。然而黄遵宪并没有遭到杀害， 成为维新派领导人中少数幸存者之一，这一方面是由于他平日交游广阔，此 刻朝中有人帮他说情，更主要的则是英国、日本等国出面，对清政府施加压 力。英国驻上海总领事向清政府声言： “如中国政府欲将黄遵宪不 问其所得 何罪，必治以死，则我国必出力救援，以免其不测之祸。”日本驻华公使也 向清政府提出交涉，声言查办黄遵宪， “有伤两国交谊”。这就使顽固派不 得不有所顾忌，只好释放了黄遵宪。 10 月 15 日，黄遵宪乘舟南归。