在家庭的影响下，在塾师的指导下，黄遵宪的学习不断有长进。在封建社会里，知识分子大都要通过科举考试才能挤进官僚阶层。明清以后，适应封建制度的发展，建立了一套比唐宋时期更完备的科举制度。为培养驯顺的 奴才，统治者特别看重八股文、试帖和楷法。所谓八股文，指的是考试中 “代圣贤立言”的文章。全文除首尾外，分八段，每两段必须逐字成对。题目都是出自 “四书”、 “五经”，考生对题目的理解只能以程朱理学的解释为依 据。所谓试帖诗，也同八股文一样，必须按一定的格式，可以说就是在做一种没有实际内容的文字游戏。这种考试分为三级：院试，考中了是秀才；乡试，考中了是举人；会试、殿试，考中了是进士。 黄遵宪所受的教育，决定了他不可能不走科举仕途的道路。
然而，黄遵宪所处的年代，正是中国社会处在剧烈变化的时代。就在黄遵宪出生的前8 年，即 1840 年，爆发了鸦片战争。西方列强用炮舰打开了中国的大门，强迫清政府签订了一 个又一个不平等条约，中国的领土主权开始丧失，自给自足的自然经济遭到破坏，中国社会逐步沦为半封建半殖民地的社会。民族矛盾的加深，使阶级矛盾更加尖锐。黄遵宪出生后第三年，爆发了中国历史上最大规模的农民起义――太平天国革命运动。太平天国政权存在了 14 年，太平军纵横18 个省，沉重打击了清王朝的统治。社会动荡不安，使人们的生活和思想意识开始发生了变化。一部分地主阶级知识分子，开始了解世界，并提 出向西方学习的主张，认为不能以天朝大国自居。他们对于清朝政府的腐败， 深恶痛绝，呼吁强国强兵，抗击外来的侵略。
面对民族危机、社会动荡，黄遵宪也认真思索起来。他在一首诗中写道：“世儒诵诗书，往往矜爪嘴。昂头道皇古，抵掌说平治。”诗中批评了只知 道熟读古书高谈阔论的人，认为想用古代的办法来治理国家是行不通的。诗 中又写道： “儒生不出门，勿论当世事、识时贵如今，通情贵悯世。”进一 步说出了他的主张：要治理好国家，必须了解当今世界的情况。 1867 年，黄遵宪参加院试，入州学，当了秀才，取得了参加乡试考举人 的资格，同年秋即赴广州应考，没有考中。 1870 年，黄遵宪第二次去广州应考，结果又名落孙山。广州是南方政治经济和文化的中心，也是军事要地， 又是林则徐禁烟、关天培等爱国将领抗击外国侵略的地方。黄遵宪在广州的 逗留，使他写下了《羊城感赋》的组诗，其中一首极力赞扬了关天培 的英勇 和将略，歌颂了这位光荣殉国的英雄。由广州回家的途中，黄遵宪到香港作了一次短期旅行。他看到昔日祖国的海岛，今已是外国人的乐园，香港的中 国人受着殖民统治。更可悲的是，英国殖民者已把香港作为进一步侵略中国 的基地。大批的鸦片烟，正准备运往内地。黄遵宪心情十分沉痛，他写了《香港感怀十首》，字里行间表现了爱国主义的愤懑情绪。 屡次考试不中，使黄遵宪精神上非常痛苦。以后几年中，黄遵宪一方面 对埋于案头，作八股吟诗赋，消磨宝贵的生命，心有不甘，鄙弃科举的念头来越强烈；一方面又抱着一种渺茫的希望，几乎是无可奈何地进行准备， 参加下一次的考试。
1873 年黄遵宪 26 岁时，考取了拔贡生，按当时考试的办法，凡得到 “监生”、 “贡生”头衔的，都可以参加顺天（清朝沿用明朝旧制。以北京为顺天府）乡试。 1874 年春，黄遵宪启程去北京。当时他父亲正在户部任职，也在北京，于是爷儿俩生活在一起。由于黄鸿藻的薪俸不多，所以他们的生活很简朴。在北京，黄遵宪交了一些朋友，还结识了一些官场上的人物，这对 他以后的政治生活产生了一定的影响。特别是1876 年，他随父亲到山东烟台作了一次漫游，见到了洋务派官僚张荫桓、李鸿章等人。所谓洋务派，是第二次鸦片战争后，随着清政府内外交困，统治阶级内部一部分官僚主张利用 西方先进生产技术，维护清朝的统治。他们与顽固派盲目排外，仇视一切外洋事物不同，提出 “师夷长技以自强”的口号，掀起了洋务运 动，先后创办 一些近代的军事工业和民用工业。洋务运动客观上刺激了中国资本主义的发展，对处国经济势力在中国的扩张，也起到了一些抵制作用。 黄遵宪在他们面前侃侃而谈，引起了他们对这位年轻人的兴趣和注意。李鸿章竟当着别人的面称道黄遵宪为 “霸才”。以李鸿章当时权势和地位， 能如此推重黄遵宪这样一位初出茅庐的后辈，使黄遵宪大有 “知遇”之感。 这是黄遵宪和洋务派发生联系的开始。 同年秋，黄遵宪犹豫再三，还是参加了顺天乡试。结果这一次被录取为第141名举人。
1877 年，黄遵宪的同乡、翰林院侍讲何如漳，被任命为中国第一任驻日公使。他熟悉黄遵宪并了解他对时务的见解，所以邀请他一起去日本。黄遵宪考取举人后，家人都希望他再考进士，加上当时中国是一个屡战屡败的弱 国，处在列强虎视眈眈之下，清朝的许多大臣对国际形势又茫然无知，造成 外交活动的困难，所以参与外交活动是很不利的，对个人来说甚至是危险的。 为此家人反对他去日本。黄遵宪没有胆怯畏缩，爱国主义的思想使他充满着 信心和勇气，去担负艰巨的外交工作。他不顾家人和亲友的反对，毅然抛弃 科举仕途，选择了到海外从事外交工作的职业。经过何如漳的推荐，黄遵宪被任命为驻日参赞官，随行出使日本。 出使前夕，黄遵宪的心情非常激动，多年来，科举考试的折磨给他带来的痛苦，似乎都消除了。他对着自己的像片，写道： “如此头颅如此腹，此 行万里亦奇哉，诸公未见靴尖??，待我扶桑濯足来。”中国古籍里称日本为扶桑，黄遵宪风趣地表示要去扶桑洗脚，表达了他希望在对日外交工作中施展才能，实现抱负的心情。