谟既被废，杜门不出，终日讲诵，教授子弟。数年，皇太后诏曰：“前司徒谟以道素著称，轨行成名，故历事先朝，致位台辅，以往年之失，用致黜责。自尔已来，阖门思愆，诚合大臣罪己之义。以谟为光禄大夫、开府仪同三司。”于是遣谒者仆射孟洪就加册命。谟上疏陈谢曰：“臣以顽薄，皆忝殊宠，尸素累纪，加违慢诏命，当肆市朝。幸蒙宽宥，不悟天施复加光饰，非臣陨越所能上报。臣寝疾未损，不任诣阙。不胜仰感圣恩，谨遣拜章。”遂以疾笃，不复朝见。诏赐几杖，门施行马。十二年，卒，时年七十六。赗赠之礼，一依太尉陆玩故事。诏赠侍中、司空，谥曰文穆。
谟博学，于礼仪宗庙制度多所议定。文笔论议，有集行于世。总应劭以来注班固《汉书》者，为之集解。谟初渡江，见彭蜞，大喜曰：“蟹有八足，加以二螯。”令烹之。既食，吐下委顿，方知非蟹。后诣谢尚而说之。尚曰：“卿读《尔雅》不熟，几为《劝学》死。”谟性方雅。丞相王导作女伎，施设床席。谟先在坐，不悦而去，导亦不止之。性尤笃慎，每事必为过防。故时人云：“蔡公过浮航，脱带腰舟。”长子邵，永嘉太守。少子系，有才学文义，位至抚军长史。