考场败将
李慈铭禀赋优异，又肯刻苦用功，十几岁时便能与大人们赋诗酬唱，文名享誉乡里，名列“越中三少”之一。（其余两人为王星诚、陈珊士）。但考运不佳，屡试屡挫，先是经落榜四次后，才于二十二岁时考中秀才。后来历经二十年，十一次落榜，于四十二岁时始中举人。最后又经过十年，三次落榜，终于在五十二岁考中进士。
悲喜同日
李慈铭十四岁时，祖母病重，乃奉双亲之命迎娶大他五岁的表姐马淑人为妻。本意是要“冲喜”，无奈，婚礼刚完成，祖母便于当天去世。这件憾事始终是李慈铭心中难以排除的阴影，使得他与妻子一直维持着如姐弟一般的感情，更影响了李慈铭日后的感情生活。
酷好女色
李慈铭酷好女色。同治五年他就“以四百圆番金购买一歌娘为妾”，光绪初年，他又趁华北大旱，人口价低之际借钱买了两个妾，其中一个妾就花了白银一百八十两。他家里仆役众多，最穷的时候，他家也“平均常常雇佣仆人三四人，女佣两人，更夫一名，厨师一名，车夫一名”。虽然“穷困潦倒”却行必有车。
清代规定，官员不得嫖妓，但是可以“挟优”，也就是与伶人戏子交往，所以官员交好伶人，成为风习。李慈铭颇好“这一口”，他经常在饮宴时叫伶人来陪，也时到伶人下处去住，梅兰芳祖父梅蕙仙的入室弟子，人称“花榜状元”的京城名伶朱霞芬更是他的至好。[2]
憾无子嗣
李慈铭婚后无子，在传宗接代的压力下，曾于三十七岁、四十岁、五十九岁时，先后纳妾三名，但还是未能生下一子半息。为此，他一直耿耿于怀。到了后来，竟经常流连于风月场所，据说因为常到妓院天下美女都看尽，所以有了双性恋的倾向。而且还染上了“好男色”之癖。
嗜书成癖
李慈铭考运不佳，在官场也不甚得意，收入有限，寄居北京城的费用浩繁，经常举债度日。但据吴振芝从《越缦堂日记》中所见李慈铭先生收支状况分析，发现他每月开销金额中最庞大的费用，竟是买书。在他的日记里，常常记载他到书市疯狂采购的事迹。买书、读书、藏书，成为他自幼至老最为自豪快意之事。某年的冬天非常寒冷，李慈铭的钱全部花在古书上。他无钱买煤，他只好在冰冷中颤栗地熬过一天算一天。他熬夜读书，为求证一事，翻箱倒箧，辛苦非常。他却兴奋地说，“经义悦人，如是如是！”
耿介直露
李慈铭具有爱憎分明的强烈个性，对于自己看不惯的人或事情，常不假辞色的当面或即时破口大骂，以致于一些至交好友，如张之洞等，最后都因故宣告决裂。有时他也会在日记中自我检讨，但由于不喜欢俯仰随人、委曲求全的个性使然，始终不改旧习。不过，他处世虽多有峻厉言行，对于亲族，甚至家仆、亲友遗孤，则多以温情相待，可见是一位性情中人。
官场生涯
李慈铭的京官生活，呈现一种极为矛盾的状态：一方面，李慈铭正式收入极低，其他收入来源也不多，所以经常债务缠身，哭穷叫苦。我们看他的日记，其中经常哭穷，什么“比日穷困不堪”，什么“比日窘甚，负债有如牛毛矣”。另一方面，他却一直追求着与自己的收入水平不相称的生活方式：住大宅子，用许多仆人，出门必有车马。
从同治十三年起，李慈铭租了一套豪宅，原闽浙总督季文昌的旧邸，这个房子可不一般：“有屋二十余楹，有轩有圃，广植花木，气派宏阔。”花园里内有轩翠舫、碧交馆、花影廊、小东圃等名胜，湖光山色，美不胜收。
更为引人注目的，是他长年沉醉于宴饮、歌郎、冶游的“上流社会生活”。我们看他的日记，他每个月有一半时间，是在外面大饭店吃饭，“每月有一半以上都有饮宴”，在声色上更经常大为破费。“光绪三年，他的仲弟在乡饥饿而死，而他在北京一年之中却花一百多两于酒食声色之征逐。‘余虽穷，酒食声色之费亦不下百金。通计出门七年以来，寄弟者不过十金耳。”
所以李慈铭的生活属低收入高消费类型。李慈铭的这种矛盾生活状态，第一个原因当然是他收入低微而生性又贪图享受所致。
李慈铭官位一直不高，所以收入很低。捐官又掏空了家底，所以家中也无法接济。但李慈铭的生活品味却相当高。李慈铭出身地主家庭，早年家中还颇有些田产，从小没吃过苦，生活相当优裕。所以他一生讲究享受，“食不厌精，脍不厌细”。他对衣服的讲究和在乎远超过曾国藩，比如这一年闰四月二十五日记：“四月间制珠毛皮小貂袖银红江紬袍一领。平生衣服，无此都丽也。以袖甚佳，有承平密致之风，团花绣球，俨然宫体。”此袍虽花去他20两银子，但他没有心疼，反而颇为得意。徐一士说：“慈铭嗟贫，时见于《日记》，而颇讲甘美享用。”确实不假。
李慈铭不但不耐清贫，还看不起那些“不懂享受”的同僚。比如他的同时代人李用清是同治四年翰林。《清史稿》称此人“安贫厉节”，不收陋规，每出门则徒步奔走，不乘车。众人皆称其俭德，李慈铭却在日记中嘲讽他“一无才能，惟耐苦恶衣食，捷足善走，盖生长僻县，世为农氓，本不知人世甘美享用也”。他的价值取向可见一斑。
第二个原因是李慈铭心态的消沉。李慈铭成名既早，自视极高，以为凭自己的才华，搏取“黄金屋颜如玉”当如探囊取物，不料一生困顿，仕途潦倒，沉浮冷署，对此一直深以为愧。所以李慈铭任户部司官期多年间，他对职事表现得相当厌倦，甚至“经年不一诣署”，原因是他“羞与少年为伍”，“与俗吏随波”。他的二十多年京官生涯，基本上是在失望、懒散、愤世嫉俗、牢骚满腹中度过的。所以干脆就纵情诗酒，以消块磊。李慈铭因境遇不顺，“口多雌黄”，“性善骂”，“持论苛刻”，爱批评当时官场种种丑态，对“同时名流，无不极口谩骂，不留余地”。 因此获得了“敢言”的称号，被人目为清流。史称他“不避权要，当面折人、议论臧否”。然而虽然痛恨官场腐败，李慈铭对升官其实一样热衷。光绪十四年（1888）简放各省学政，他事先也四处活动，做了许多工作，结果没有成功。光绪十六年终于补授山西道监察御史后，他“敢言”的锋芒就大为收敛。门生攀增祥说“牢骚渐平，欲有所陈，尚未封上，但谈时政，不事搏击”。
李慈铭为官之初，也曾矜尚名节，“尝自订七例自勉：一不答外官，二不交翰林，三不礼名士，四不齿富人，五不认天下同年，六不拜房荐科举之师，七不婚寿庆贺”。但他远未能践行自己的诺言。李慈铭一方面在日记中深刻嘲讽那些“曲计攀援”以求外官馈赠之人。另一方面，他自己就是一个“曲计攀援”的高手。光绪七年春，他就曾至贤良寺投刺直隶总督兼北洋大臣李鸿章，“以近日窘甚，冀其随例有酬应也。”这次李“馈别，敬十二金，犒使二千”。
李慈铭一生谋得的最大一笔“馈赠”，是生涯最后几年担任“天津问津书院北学海堂山长”所获的每年一千一百余两束修，这是他京官生涯后几年生活水平越来越高的基本保障。“天津问津书院北学海堂山长”其实只是一个挂名，一年不需要到天津跑几次，束修却如此丰厚，原因很简单：这其实是李鸿章送给他的“封口费”。盖李鸿章深知李慈铭之善骂，更自知自己身处高层政治矛盾的中心，很容易被清流们抓住小辫子不放，所以他倾力结好李氏。这笔封口费效果不错，虽然李慈铭虽恣睢放纵，“任情善骂”，但在晚清清流皆竞相痛骂李鸿章之时，他却从来不开口，“慈铭在言路，不劾李鸿章。”