1874年菲尔莫尔去世后，卡罗琳并没有改善和继子的关系，仍旧居住尼亚加拉广场的宅第中，直至1881年8月11日去世。
当1860年的大选又来到的时候，菲尔莫尔没再介入竞选。他知道，自己的政治峰巅已成昔日黄花，即使自己再抛头露面也没有多少人响应自己的号召了。不过，作为多年政坛上的老将，他心中的政治火苗并没有完全熄灭，当政治暴风雨来临的时候，他还要趁机闪烁几下，发散一下余光。60年代初，美国内战的形势越来越明显了，可以说是一触即发，可在任的布坎南总统却迟迟下不了决心采取行动，这引起了北部联邦的强烈不满，他们纷纷指责布坎南。菲尔莫尔也不再沉默，加入了日益高涨的批评者的大合唱，甚至破天荒的事情出现了，菲尔莫尔——这位自始至终的温情主义者——竟然发表言论说什么布坎南应该使用武力来防止南方联邦的分裂行动，并声称那些企图脱离联邦者，“应被视为阴谋叛国者拼凑起来的未经授权的州议会，理应像其它任何不合法的议会一样受到惩罚。”
虽说菲尔莫尔自己没有介入1860年的竞选，但他在这次大选中也没有完全保持沉默。当时共和党提名的候选人是坚决反对奴隶制的亚伯拉罕·林肯，或许是由于对奴隶制看法的分歧，菲尔莫尔对林肯当选不抱什么希望，令人疑惑不解的是，林肯当选后，他又款待了林肯。事情是这样的：1861年2月16日，林肯前往华盛顿赴任，途中经过布法罗时拜见了菲尔莫尔，菲尔莫尔对他是盛情款待，两人还一同去了教堂。至于两人讨论的是什么问题、结果如何，都无从可知。