虽有“漆室坐忧时事非”(《赠吕定子编修》)的感情，任官期间也曾对时政有所批评和建议，但思想比较迂阔保守，持儒家“内圣外王”（《复陈昼卿观察书》）的观念，以求索不倦的学者和矜尚名节的名士，终其一生。他承袭乾嘉汉学余风，治经学、史学，都有一定成就。又博览群书，时有所评。其治学读书所得，大都载入《越缦堂日记》，颇为世人所重。
李慈铭自言在创作方面“所得意者莫如诗”（《白华绛跗阁诗甲集至己集初定本自序》）。今传已刻之诗起道光二十四年(1844)至同治十三年(1874)，共850首，主要反映了贫窘的学者与困顿的名士的生活与心境，山水风物、交游唱和的“登监闲适之篇”较多，至于“感愤切挚之作”（《越缦堂诗话》），也多是抒写落拓不遇之感。直接触及时事、反帝慨时的篇什，如《庚申八月感事》、《出大沽口感事》、《庚午书事》、《京邸冬夜读书》等，为数寥寥。占有一定数量的涉及太平天国的诗篇，则表现了地主阶级的立场。
李慈铭认为“学诗之道必不能专一家限一代。凡规规摹拟者，必其才力薄弱，中无真诣”。他主张内有所蓄。同时广泛向前人学习，“汰其繁芜，取其深蕴，随物赋形，悉为我有”(《越缦堂诗话》)。他的诗大体遵循自己的主张，广采诸家之长，以写自身所遭之境，自心所生之感，创造一种“清淡平直，不炫异惊人”（陈衍《石遗室诗话》）的风格，如《自题霞川老屋图》、《舟入青浦界作》、《初夏舟出徐山村至清水闸作》等。在文章方面，李慈铭认为“文体必本韵偶”（《书凌氏廷堪校礼堂集中〈书唐文粹文后〉文后》），强调骈文之美。此外，他的词也有一些感怀身世之作。
李慈铭除经、史著述之外，刻有《越缦堂文集》12卷、《湖塘林馆骈体文》 2卷、《白华绛跗阁诗初集》10卷及《霞川花隐词》。尚有《杏花香雪斋诗二集》、《桃花圣解庵乐府》未刻。中华书局出版的《杏花香雪斋诗》10集，为吴道晋所辑。
李慈铭《越缦堂日记》 是清代很有名的日记，与《翁同龢日记》、王闿运《湘绮楼日记》、叶昌炽《缘督庐日记》齐名，并称“晚清四大日记”。早在李慈铭在世时，《越缦堂日记》就被“士友多传抄之”，同治、光绪间文人圈内甚至有“生不愿做执金吾，惟愿尽读李公书”之语。李慈铭的日记之所以倍受学界青睐，一方面固然在于李慈铭本人的名望，另一方面则是由于日记本身的内容和价值。日记文字达数百万言，对清咸丰到光绪近四十年间的朝野见闻、人物评述、名物考据、书画鉴赏、山川游历以及北京等地的社会风貌等内容均有翔实记述，足资后代学者参考借鉴；日记中记录了大量的读书札记，仿《四库全书总目》之例，撰写书籍介绍及评论，内容涉及经史百家；日记中还录有李慈铭本人的诗词、骈文作品，对于研究作者本人的文学创作颇具参考价值。胡适在他的日记中坦然承认自己重新提起写日记的兴趣是受了《越缦堂日记》的影响。当然也有人持相反的看法，鲁迅在《怎么写（夜记之一）》一文中说道：“《越缦堂日记》近来已极风行了。我看了却总觉得他每次要留给我一些很不舒服的东西。为什么呢？一是钞上谕，……二是许多墨涂，……三是早给人家看，钞，自以为一部著作了。我觉得从中看不见李慈铭的心，却时时看到一些做作”。《越缦堂日记》已列入台湾国中国文教材之一。
《越缦堂日记》的出版经过极为曲折，前后历时六十余年。1894年末，李慈铭病逝，遗留日记手稿七十余册。当时，沈曾植、缪全孙等人曾极力推动将日记付梓，曾经师事李慈铭的樊增祥“以速刻自任，索最后一盒(日记)去，卒未刻”。1919年，在蔡元培、傅增湘、王幼山、王书衡等及学界二十余人的共同捐助下，商务印书馆于1920年以《越缦堂日记》为其名影印出版了遗留六十四册日记稿的后五十一册。（内容为李慈铭1863～1889年间的日记）。《越缦堂日记》影印出版后，士林争相一睹为快，誉之为“日记之大观”、“掌故之渊薮”。鲁迅在《三闲集》中说“《越缦堂日记》近来已极风行了”就是当时日记出版后的真实写照。《越缦堂日记》出版后，蔡元培根据李慈铭的遗愿拟将剩下的十三册日记（1854～1862年间日记）进行分类节录出版，后经钱玄同倡议，仍将剩余的十三册日记按前五十一册之例于1935年由商务印书馆线装本影印出版。这便是《越缦堂日记补》。而樊增祥带走的李慈铭暮年的日记手稿（1889～1894年记）则如泥牛入海，音信全无。尽管各时期都有热心人士呼吁追寻，但始终没有下落。直到1980年才有幸被发现。这宗重见天日的手稿后由北京燕山出版社于1988年影印行世，名《郇学斋日记》共九册，至此，李慈铭日记始以完璧面世。