陈继儒曾隐居小昆山，得了隐士之名，却又经常周旋于官绅间，遂为一些人所诟病。诟病者认为隐士就要声闻不彰，息影山林，而不应身在江海之上而心居魏阙（指朝廷）之下。直到清乾隆间，蒋士铨作传奇《临川梦·隐奸》的出场诗，不少人就认为是刺陈眉公的。全诗是：“妆点山林大架子，附庸风雅小名家。终南捷径无心走，处士虚声尽力夸。獭祭诗书充著作，蝇营钟鼎润烟霞。翩然一只云间鹤，飞去飞来宰相衙。”松江古称云间，故有刺陈之说。
而陈眉公中庭书一联云：
天为补贫偏与健
人因见懒误称高
此联系集陆放翁诗联，名虽谦抑，实则简傲。“误称高”三字，其中包涵了复杂的心情：是真“高”还是假“高”，是应该称谓还是“误称”了，当然，其中也有辩解的成分。辩解归辩解，然而巧言岂能无本意？
对于陈眉公的“飞去飞来宰相衙”之行为，就连其同时代的人也当面讥斥的。梁章钜的儿子梁恭辰所撰的《巧对续录》记载，陈眉公在王荆石家遇一显宦，显宦问王荆石：“此位何人？”荆石回答说：“山人”。显宦曰：“既是山人，何不到山里去？”讥讽陈眉公在门下也。在吃饭时，显宦出令曰：“首要鸟名，中要《四书》，末要曲一句承上意。令曰：“十姊妹嫁了八哥，八口之家，可以无饥矣。只是二女将靠谁？”众客寂然，摇头莫能对，显宦喜形于色，众人都将目光落在陈眉公身上。陈眉公对之曰：“画眉儿嫁了白头翁，吾老矣，无能为也矣，辜负了青春年少。”
对语颇妙，作为文学家名或不虚，时人讥之，恐怕周旋官绅间亦是属实。