米勒德·菲尔莫尔

1832年，菲尔莫尔顺利当选联邦众议员。反共济会党总统候选人、前司法部长威廉·沃特在普选中仅拿下佛蒙特州，杰克逊总统轻松连任。国会此时在每年12月开会，所以菲尔莫尔当选后还要过一年多才开始任职。他和威德等人都意识到，单纯的反共济会受众面实在有限，不足以作为国家级政党的根基，于是以国家共和党、反共济会党和心怀不满的民主党人为基础，组建基础更雄厚的辉格党。新党最初是在反杰克逊理念下团结起来，后来党纲逐渐扩张，加入支持重新发布特许权开办美国第二银行、联邦政府为包括道路、桥梁和运河在内的境内改进（）项目注资以实现经济增长等内容，逐渐发展成大党。[33]威德加入辉格党的时间比菲尔莫尔早，成为该党重要人物。菲尔莫尔虽然反感奴隶制，但认为联邦政府无权干涉。相比之下，威德的反奴隶制立场更加激进，与来自奥本的纽约州辉格党大鳄威廉·H·苏厄德接近，苏厄德也被视为威德的门生。[2]

菲尔莫尔敦促国会扩张水牛城港，因为扩张海港属联邦政府职责；同时又在奥尔巴尼呼吁扩充纽约州境内的伊利运河[34]。1832年竞选期间，他与反共济会党的关系依然模凌两可，直到宣誓就职后才正式退出。马萨诸塞州联邦参议员丹尼尔·韦伯斯特在全美颇具影响，他觉得菲尔莫尔很有潜力，将其纳入羽翼保护之下。菲尔莫尔坚定支持韦伯斯特，两人保持密切关系，直到韦伯斯特在菲尔莫尔总统任期即将结束时辞世。[35]菲尔莫尔支持设立美国第二银行推动经济发展，但未就此参与特许状续约的国会辩论，这有可能是因为杰克逊此前曾否决相同提议的国会法案[36]。菲尔莫尔支持基础设施建设，对哈德遜河导航改进和建桥跨越波托马克河的法案都投下赞成票[37]。

反共济会党在西纽约州实力依旧强劲，但已逐渐退出国家舞台。1834年反共济会党没有提名菲尔莫尔竞选连任，他随后谢绝辉格党提名，认为两党争斗会摊薄反杰克逊选民的选票，导致民主党人胜出。卸任联邦众议员后，他与苏厄德争夺1834年纽约州州长的辉格党候选人提名落败。[38]菲尔莫尔返回水牛城后继续经营律师事务所，同时为辉格党发展出力，大部分反共济会党员逐渐加入[39]。1836年，他已对反杰克逊联盟抱有足够信心，接受辉格党的国会议员提名。民主党人在总统候选人、时任副总统马丁·范布伦带领下基本大获全胜，范布伦也拿下故乡纽约州的选举人票，但西纽约州选民更中意辉格党，再次将菲尔莫尔送往国会山。[40]

杰克逊总统曾于1836年通过行政命令规定政府只能接受真金白银付款，致使民间对私人纸币普遍缺乏信心，这一程度上导致美国在范布伦执政后发生1837年大恐慌。杰克逊将政府资金从美国第二银行取出，存入部分州立银行，这些银行因此得名“被宠幸的银行”（）。范布伦提议把资金投入次级国债，或是不会把钱外借的政府托管机构。菲尔莫尔认为政府资金应用于国家发展，国内黄金本就有限，总统的提议会导致商品流通资金更加匮乏。范布伦的次级国债及其他经济提案虽获通过，但随着国家经济举步维艰，辉格党的支持率上升，在1837年选举中夺得纽约州议会多数席位，为1838年州长候选人提名争夺战埋下伏笔。菲尔莫尔支持1836年辉格党副总统候选人弗朗西斯·格兰杰（），但威德更看好苏厄德。威德为苏厄德拿下提名时，菲尔莫尔颇感沮丧，但他还是在普选中义无反顾地为苏厄德摇旗呐喊。最终苏厄德当选州长，菲尔莫尔也赢得连任。[41]

愈演愈烈的反奴隶制运动导致菲尔莫尔和苏厄德关系恶化。菲尔莫尔虽然反感奴隶制，但认为这不是政治问题。苏厄德的反对立场要强烈得多，担任州长期间不吝付诸行动，拒绝将逃到纽约州的奴隶送回南方奴隶主手中。[41]1839年，水牛城律师公会建议州长提名菲尔莫尔出任第八司法选区副区长，但苏厄德拒绝后提名弗雷德里克·惠特西（），表示即便纽约州参议院不批准，他也不会提名菲尔莫尔[42]。

菲尔莫尔在辉格党全国大会开始前积极探讨1840年总统大选的提名人选，他起初支持温菲尔德·斯科特将军，但最希望的还是确保肯塔基州联邦参议员亨利·克莱不会获提名。克莱是奴隶主，菲尔莫尔认为他不可能赢得纽约州。菲尔莫尔没有出席党派提名大会，但对威廉·亨利·哈里森获总统候选人提名，前弗吉尼亚州联邦参议员约翰·泰勒获副总统候选人提名感到非常欣慰[43]。他在西纽约州为哈里森竞选，最终辉格党候选人赢得大选入主白宫，菲尔莫尔也轻取对手再度连任[44]。

哈里森在克莱促请下很快召开国会特别会议。辉格党首次控制众议院之际，菲尔莫尔希望能当上议长，但不敌克莱的得力助手、肯塔基州议员约翰·怀特（）[45]。不过，菲尔莫尔还是成为众议院筹款委员会主席[6]。辉格党人对哈里森寄予厚望，期待他携手克莱及其他辉格党国会政要通过各种法案，但他在1841年4月4日去世，副总统泰勒继任。泰勒曾是特立独行的民主党人，他很快就在建立国家级银行稳定货币的国会提案上与克莱分道扬镳，两次对法案行使否决权，因此被辉格党除名。菲尔莫尔身处冲突边缘没有卷入，他整体支持党派国会法案，但身为筹款委员会主席，他最大的成就还是《1842年关税法》。此前的关税没有特别保护制造业，部分收入分配给各州，这一度是非常利好的政策，但随着时间的推移却导致国库空虚。菲尔莫尔准备的法案建议提高税率，在当时颇得民心，但其中包含的利益分配延续条款导致总统必然要行使否决权，这反过来又能为辉格党争取更大的政治优势。泰勒否决法案后，以马萨诸塞州议员约翰·昆西·亚当斯为首的众议院委员会发声谴责总统所作所为。菲尔莫尔又递交第二份法案，其中不再包含利益分配条款，国会通过后泰勒签署法案，但此举又令总统的民主党盟友深感愤怒。如此这般，菲尔莫尔不但达成立法目标，还令总统在政治上陷入孤立。[46]

新关税法为菲尔莫尔赢得赞誉，但他在1842年7月宣布不再寻求连任，而且说到做到谢绝辉格党提名。他对首都生活和牵涉泰勒总统的冲突感到厌倦，只想回到水牛城继续当律师过日子。1842年选举过后，他继续积极参与国会跛脚鸭议程，于1843年4月返回水牛城。为他立传的罗伯特·斯卡里（）称：“菲尔莫尔在成为政界大鳄、名望如日中天之际激流勇退，结束国会生涯”。[47]威德评价菲尔莫尔的国会议员任期“能言善辩、讨论理智，拥有始终如一的政治操守”[48]。

菲尔莫尔石版画像

  关于美国政治大会程序的更多信息，请见「美国总统提名大会」。

波尔克总统承诺不会竞选连任，辉格党已在1846年选举中占据国会多数席位，希望能在1848年攻占白宫。克莱和韦伯斯特是辉格党常年竞选老将，两人都在竭力争取国会同僚支持，希望获得提名。许多辉格党人希望美墨战争英雄、民意极高的扎卡里·泰勒将军出任总统。但是，美国政坛此时正面临是否允许奴隶制扩张到墨西哥割讓地的敏感时期，泰勒又是路易斯安那州的奴隶主，北方人士对选他当总统心存忧虑。同时泰勒的政治立场不明，导致更多人保持观望，身为职业军人，他从未在总统大选中投票。泰勒自称支持辉格党，但许多人担心他会变成另一个约翰·泰勒或哈里森。[62]

泰勒（左）和菲尔莫尔的竞选海报，纳撒尼尔·卡里尔设计

提名人选未定，威德安排前往费城参加1848年辉格党全国大会的纽约州代表团见机行事，希望他们能在会上适时陈桥兵变，促使前州长苏厄德获总统候选人提名，或至少参选国家高级公职。他还说服菲尔莫尔支持代表团的决定，只不过没有明示推举苏厄德的打算。威德此时颇具影响，菲尔莫尔为顾全辉格党大局决定配合，但威德也有包括杨州长在内不少立场更坚定的对手，他们反感苏厄德，也不想看到他担任高级公职。[63]

泰勒在第四轮投票中获提名，威德的期望落空，克莱的支持者及东北部良心辉格党人深感愤怒。会场安静下来后，反对威德的纽约州代表约翰·科利尔（）上台讲话。与会代表聚精会神地听取他每一句话，科利尔自称坚定支持克莱，每轮都把票投给他。他生动形象地描述克莱支持者此时难过的心情，把克莱送进白宫的苦战又一次落空，令他们万分沮丧。科利尔声称，党派此时正面临致命危机，只有提名坚定支持克莱的菲尔莫尔当副总统才能缓和局面。菲尔莫尔虽然在许多问题上抱持克莱同等立场，但并不支持他当总统，此时也不在现场。与会代表无从得知科利尔所言不尽不实，或至少严重夸大，许多人赞成科利尔的提议。此时总统候选人还不能自行挑选竞选搭档，泰勒的班底虽竭力为马萨诸塞州前联邦众议员阿伯特·劳伦斯（）争取，但菲尔莫尔还是在第二轮投票就获得辉格党副总统提名。[64]

威德一度希望苏厄德获副总统提名，但苏厄德只得到少数代表支持，科利尔促使菲尔莫尔获副总统提名还令威德派系的其他愿望落空。按照当时的政治传统，身为纽约州人的菲尔莫尔已经提名副总统，那么该州其他人就不应该再竞选内阁位置。有说法称科利尔的行事有菲尔莫尔参与，但没有任何证据支撑。[65]辉格党人有充分的理由选择菲尔莫尔，事实证明，在大选中举足轻重的纽约州选民对他青眼有加，国会纪录也足以证明他忠于辉格党，所以即便泰勒将军真有不测，菲尔莫尔也不大可能变成另一个约翰·泰勒。与会代表对他在《1842年关税法》发挥的作用记忆犹新，他与劳伦斯及俄亥俄州的托马斯·尤因都曾是副总统热门人选。苏厄德此时已因反奴隶制立场和言论闻名，菲尔莫尔作为他的对手更容易得到南方人士认可。[66][67]

各州普选结果，黄色部分是泰勒和菲尔莫尔胜出的州

根据19世纪中期的美国政治传统，高级公职的候选人通常不直接出面竞选。菲尔莫尔因此继续担任主计长，没有公开演说。1848年大选的竞选活动主战场是报纸，各方代理人在集会演讲。民主党人提名密歇根州联邦参议员刘易斯·卡斯任总统，竞选搭档是威廉·奥兰多·巴特勒（）少将。以反对奴隶制扩张为主要纲领的自由土地黨跑来搅混水，提名前总统范布伦重返白宫，选举变成三雄争霸。[68]泰勒接受南卡罗来纳州异见民主党人总统候选人提名，导致局面复杂化，包括威德在内的部分辉格党人担心他会像约翰·泰勒一样背叛辉格党，威德打算八月下旬在奥尔巴尼集会，说服选举人不要把票投给扎卡里·泰勒。菲尔莫尔介入调解，他向威德保证，泰勒肯定忠于党派。[69][70]

北方人士认为菲尔莫尔出身自由州，肯定反对奴隶制扩张。南方人指责他企图废除奴隶制，但菲尔莫尔坚决否认[71]。他写给阿拉巴马州某居民的回信在媒体广为传播，信中称奴隶制虽然罪恶，但联邦政府无权干涉[69]。泰勒和菲尔莫尔在九月有两次通信往来，总统候选人在信中表示很高兴有关南卡罗来纳民主党人的危机已经解决。菲尔莫尔则请将军放心，普选前景看好，特别是在美国东北部地区。[72]

辉格党候选人最终以小幅优势赢得普选，纽约州的选举人票在选举中依然举足轻重[73]。从普选票看，辉格党得票136万1393张，占47.3%，民主党人得票122万3460张，占42.5%，选举人票则以163票力压对手的127票。小党派候选人虽未获选举人票，[74]但管中窥豹，依然能从范布伦的得票率看出新兴反奴隶制运动实力不容小觑，他虽未赢得任何一州多数支持，但得票总数达29万1501，占10.1%，在纽约州、佛蒙特州和马萨诸塞州都位居第二。[75]

美国印钞局刻版的菲尔莫尔总统肖像

1850年7月4日，华盛顿哥伦比亚特区非常炎热，泰勒总统出席独立日庆典，为華盛頓紀念碑奠基，为了提神，估计他喝下混有樱桃的冷牛奶，后因某些食物患上腸胃炎，于7月9日去世。泰勒绰号“时刻准备着的老牌硬汉”，从军期间就以作风强硬、能够经受激烈战斗考验闻名，他的突然去世震惊全国。[86]

7月8日，正在参议院主持议事的菲尔莫尔接获通知后赶到白宫，与内阁成员在总统卧室外等候。7月9日晚，他在威拉德酒店接到总统去世的正式通知，上有内阁成员签名。确认信件内容后，菲尔莫尔一夜无眠，[87]然后赶往众议院，经哥伦比亚特区联邦法院首席法官威廉·克兰奇（）主持在国会联席会议见证下宣誓就任美国总统，当年约翰·泰勒宣誓就职时也是克兰奇主持。内阁官员按照当时的政治传统向新总统递交辞呈，预计菲尔莫尔不会接受，让他们继续任职。但他们此前就已把任副总统的菲尔莫尔边缘化，新总统同意他们辞职，只要求他们继续工作一个月，对此大部分内阁成员都没有接受。美国历史上因总统死亡或辞职继任的新总统基本都会保留前总统内阁，或至少一开始不会接受他们辞职，菲尔莫尔是至今仅有的例外。他马上就开始与辉格党领导人讨论继任人选，7月20日将新提名人选递交参议院，内阁以出任国务卿的韦伯斯特为首。韦伯斯特此前支持克莱《综合议案》之举令马萨诸塞州选民愤怒不已，他的参议员任期将于1851年结束，在故乡已经没有政治前途。菲尔莫尔还任命长年合作经营律师事务所的霍尔任邮政总局局长，该职位不但是内阁成员，而且控制着许多职位的任命权。[88]与菲尔莫尔一样，大部分新内阁成员支持妥协法案[89]。

泰勒的死令政治纷争暂停，但还不足以缓解危机。德克萨斯州企图通过武力手段确立新墨西哥领地归属，州长彼得·汉斯伯勒·贝尔（）甚至向泰勒总统发出咄咄逼人的信[90]，菲尔莫尔也在就任总统后收到这种信，为此他向当地增派联邦部队，警告贝尔保持和平[89]。

7月结束时，克莱的法案从实际层面来看已经胎死腹中，因为国会已通过一道又一道的修正案将其中绝大多数重要提议删除，只剩下组织犹他领地的条款，换言之，装载法案的“公交车”上只剩下最后一位乘客：“摩门教徒”[91]。接下来伊利诺伊州联邦参议员史蒂芬·阿諾·道格拉斯经克莱同意走到台前，提议把《综合法案》各项目拆散成单个法案，由国会分别审批[91]。菲尔莫尔支持道格拉斯的提议，原法案分拆成五道法案[6]。

1850年8月6日，菲尔莫尔向国会发出特别讯息，公开贝尔州长与总统的通信，他告知国会，德克萨斯州武装部队将被视为侵略者，促请国会通过妥协法案，化解部分紧张局势。昔日主导参议院的三巨头中约翰·卡德威尔·卡尔霍恩已经去世，韦伯斯特当上国务卿，克莱因《综合议案》过度劳累，此时还在罗得岛州新港休养。道格拉斯等人于是联手引领参议院接受行政部门支持的一系列法案。各项法案均在参议院通过，除每个项目的支持者外，还有少数决心看到所有法案通过的议员护航。战场接下来转移到众议院，由于北方州人口较多，这里也是北方议员占多数。《逃奴法》争议最为激烈，废奴主义者对其中项目反感不已。菲尔莫尔向包括纽约州代表在内的北方辉格党议员施压，只要求他们选择弃权，不投反对。议会在立法过程中调整法案内容，包括在新墨西哥領地与德克萨斯州之间划定边界，任何领土主张通过经济补偿解决。加利福尼亚作为自由州加入联邦，首都禁止奴隶贸易，新墨西哥和犹他领地的奴隶制法律地位问题容后再议。菲尔莫尔直接签字批准大部分法案，仅《逃奴法》搁置两天，直至新任司法部长约翰·J·克里滕登确认其中没有违宪问题。部分北方人士对《逃奴法》不满，但这些法案的确令局势大幅缓解，大家都希望这些举措能解决奴隶制问题。[92][93]

波士顿张贴的警告信，向黑人示警小心被专抓奴隶的人绑架

《逃奴法》颁布后依然是争议焦点：执行该法令许多北方人士深感冒犯，南方人又对执法过程存在的任何宽大处理耿耿于怀。废奴主义者批评该法不公：任何协助奴隶逃脱的人都会受到严惩，而且未向逃奴提供任何正当法律程序，因为他们根本没有机会到裁判官面前作证；此外，该法还允许裁判官将逃犯认定为奴隶后获得比认定为自由民更高的酬金，这又会从经济利益角度促使裁判官把本是自由身的黑人判为奴隶。然而，菲尔莫尔认为出任总统时立下的誓言要求他遵守并执行法律，既然国会经过反复商讨制订《逃奴法》，他就有义务执行。政府遣返奴隶的做法及部分法律诉讼因不得民心惨淡收场，例如弗吉尼亚州逃奴沙德拉克·明金斯（）获波士顿法院无罪开释后又被美国法警逮捕，最后波士顿发生暴动将他救出后送往加拿大，因此被捕的废奴主义者同样被法院无罪开释。这类案件在南方和北方广为流传，各地民众都很愤怒，原本对妥协案存在的一点好感逐渐败坏殆尽。[94]

1850年8月，社会改革家多萝西·狄克斯（）致信菲尔莫尔，促请总统支持她在国会提出的建议，为精神病患者收治机构拨款购地。国会没有通过法案，但狄克斯和总统成为朋友，菲尔莫尔卸任多年后两人仍保持通信往来并偶尔见面。[95]1850年9月，菲尔莫尔任命耶穌基督後期聖徒教會领袖楊百翰出任犹他领地首任总督[96]，后者投桃报李，将领地第一个首府取名“菲尔莫尔”，周边所在县起名“米勒德縣”[97]。

菲尔莫尔一直支持国家基础设施发展，他签署法案补贴芝加哥通往莫比尔的伊利诺伊中央铁路，以及苏圣玛丽的运河。1851年伊利铁路纽约州段完工后，总统率内阁登上从纽约市出发前往伊利湖畔的第一列火车，还有众多政界及其他名流陪同。菲尔莫尔沿途多次在火车后方的台前演说，敦促大家接受妥协法案，下车后又与来自南方的内阁成员游览新英格兰。菲尔莫尔促请国会授权建设横贯大陆的铁路，但法案直到十年后才在国会通过。[98]

菲尔莫尔担任总统期间共任命四名美国联邦地区法院法官和一名最高法院大法官，其中他长年的朋友、律师事务所合伙人兼邮政总局局长霍尔就获得水牛城联邦地区法院法官任命[99]。最高法院大法官利瓦伊·伍德伯里于1851年9月去世，此时参议院正在休会期，总统以休会任命将本杰明·罗宾斯·科蒂斯（）送进高院。国会12月开会后，菲尔莫尔正式提名科蒂斯并获参议院确认。1857年，科蒂斯大法官对最高法院在事涉奴隶制的斯科特诉桑福德案判决投下反对票，并以原则问题为由辞职。[100]

1852年，最高法院大法官约翰·麦金莱（）去世，但总统的多次提名都没有结果。菲尔莫尔首先提名新奥尔良爱德华·布拉德福德（），参议院完全不予置评。总统的第二人选乔治·埃德蒙·巴杰（）又主动要求撤回提名。犹大·本杰明刚刚在联邦参议员选举中胜出，不愿意前往最高法院。对于因本杰明推荐而获提名新奥尔良律师威廉·米库（），参议院同样不置可否。菲尔莫尔直到卸任都未能填补最高法院空缺，新总统富兰克林·皮尔斯上台后提名约翰·阿奇博尔德·坎贝尔（）终于获得参议院认可。[101]

菲尔莫尔的白宫正式肖像

菲尔莫尔任内有两位非常能干的国务卿，其中韦伯斯特于1852年去世，爱德华·埃弗里特继任，但总统对两人的工作把关都很严格，亲自下达所有重大决定[102]。菲尔莫尔对亚太事务特别热心，尤其是此时还禁止几乎一切对外交往的日本。美国商人和船东希望日本开门做生意，这不但包括贸易，还包括准许美国船只补给食品和水，而且在紧急情况下可以便宜从事不受惩罚，希望在日本海岸逗留的美国水手不会被当成罪犯关起来。[103]菲尔莫尔和韦伯斯特派马休·佩里准将带队远征，力求推动日本打开国门同外界交流。佩里的船队于1853年7月抵达日本，此时菲尔莫尔已卸任总统四个月。[103]

菲尔莫尔坚决反对欧洲染指夏威夷。拿破仑三世统治的法国意图吞并夏威夷，菲尔莫尔为此发出措辞强硬的警告信，称“美国不会坐视此类行径”，法国最终退让[103]。泰勒曾向葡萄牙施压，要求支付早在1812年战争期间欠下的美国债务，而且不接受仲裁方的提议；菲尔莫尔最后取得对美国更有利的解决方案[104]。

菲尔莫尔对涉及古巴的事务感到非常棘手，古巴是西班牙殖民地，西班牙实行奴隶制，所以许多南方人希望吞并古巴，将该岛作为蓄奴领地[103]。委内瑞拉探险家纳西索·洛佩斯（）招募美国人先后三次在没有政府授权的情况下远征古巴，希望推翻西班牙对当地的统治。1850年第二次远征古巴后，洛佩斯及部分追随者因涉嫌违反《中立法》受起诉，但南方人组成的陪审团很快就裁定罪名不成立[103]。洛佩斯第三次远征古巴时被西班牙人处决，殖民者还将多名美国人枪决，其中包括司法部长克里滕登的侄儿。这导致新奥尔良发生针对西班牙人的暴动，西班牙领事逃离。历史学家埃尔伯特·史密斯（）在泰勒与菲尔莫尔总统任期的专著中指出，菲尔莫尔完全可以对西班牙开战，但他和韦伯斯特选择与西班牙人合作，采取一系列挽回颜面的措施解决危机、避免武装冲突。包括辉格党人在内的众多南方人支持洛佩斯的远征，菲尔莫尔的做法进一步导致党派在1852年大选前分裂。[105]

1851年下半年，反抗奥地利统治发起匈牙利革命失败的流亡领袖科苏特·拉约什来到美国，希望美国承认匈牙利独立，引起媒体广泛关注。许多美国人对匈牙利人的抗争心怀同情，特别是来美国不久的德裔移民，在美国已有大量人口，形成强大的政治力量。科苏特受到国会欢迎，得到不把面谈机会政治化的承诺后，总统同意与他在白宫见面，但科苏特来到白宫后还是不顾之前的承诺发表演说宣扬政治主张。美国人的热情消弱后，科苏特返回欧洲，菲尔莫尔拒绝变更美国政策，继续保持中立。[106]

随着1852年大选临近，菲尔莫尔对是否再争取四年完整任期还是迟迟拿不定主意。当上美国总统是国务卿韦伯斯特长年来的梦想，此时他已年过古稀，只想最后一次争取入主白宫。菲尔莫尔对老友的抱负心有戚戚，在1851年下半年的信中表示不会寻求完整任期，但他又不愿彻底放弃，担心党派落入苏厄德的党羽把控。随着1852年6月在巴尔的摩举行的1852年辉格党全国大会日期逐渐临近，辉格党最具胜算的总统候选人分别是菲尔莫尔、韦伯斯特和斯科特将军。威德和苏厄德支持斯科特，民主党人在五月下旬提名新罕布什尔州前联邦参议员富兰克林·皮尔斯，皮尔斯此前近十年在全国政坛都没有带起什么风浪，但因投身美墨战争迅速崛起。身为北方人士，他认可南方对奴隶制的观念，民主党因此团结起来支持他，这也意味着辉格党候选人需要为总统宝座投入苦战。[107]

菲尔莫尔此时已因签署并执行《逃奴法》不受北方辉格党人待见，但在南方的支持率相当可观，南方辉格党人还认为党派保持团结的唯一希望就是他出马竞选总统。党代表大会上通过党纲支持将妥协法案作为奴隶制问题的最终解决方案，菲尔莫尔对此心满意足，愿意退出。但是，总统的众多支持者不愿改投国务卿，所以菲尔莫尔的退出只会成全斯科特。大会陷入僵局并持续到6月19日（星期六），经过46轮投票依然无果，代表决定休会至周一。党派领导人向总统和国务卿提议：如果韦伯斯特的得票率能在接下来几轮看涨，支持菲尔莫尔的代表就改投国务卿，让他获得提名，否则就请韦伯斯特退出成全总统。菲尔莫尔很快同意，但韦伯斯特直到周一早上才同意。国务聊的支持者在第48轮投票开始转投斯科特，后者最后在第53轮获提名。面对这样的结果，韦伯斯特远不及菲尔莫尔看得开，他向总统提出辞职，但总统没有接受。11月的普选结果以辉格党惨败告终，南方支持斯科特的选民数量很少，北方人安身立命的交叉贸易又要靠和平维系。史密斯认为，如果推举菲尔莫尔，辉格党的胜算要大得多。[108]

菲尔莫尔卸任前的几个月风平浪静，韦伯斯特于1852年10月与世长辞，总统在他病危期间暂代国务卿职责，这段时间也没有什么需要国务卿处理的工作，埃弗里特随后接手而且完全能够胜任。菲尔莫尔本打算在最后一次国情咨文（12月）中向国会阐述他对奴隶制问题的看法，但在内阁建议下打消念头，只在讲话中对国家繁荣表示满意，还对有机会为国效力表达感激之情。国会在跛脚鸭议程期间基本没有讨论奴隶制问题，菲尔莫尔于1853年3月4日离开白宫，皮尔斯继任。[109]

菲尔莫尔卸任重返普遍人生活时既无地产又没有足以保障经济独立的财富，这在历任美国总统中还是头一位。他没有任何预期的养老金，必须继续工作养家糊口，而且自认有必要维持前总统应有的生活尊严。他的朋友霍尔法官表示，菲尔莫尔完全可以在纽约州的高等法院出庭，菲尔莫尔正是如此打算。[110]他和家人原计划离开白宫后到南方旅行，但阿比盖尔在皮尔斯总统的就职典礼上感染风寒，后来恶化成肺炎，于1853年3月30日在首都撒手人寰。伤心的前总统返回水牛城将妻子下葬，[111]家庭悲剧也令他不能通过社交途径寻求工作职位，只能靠投资收入维持生计[112]。1854年7月26日，菲尔莫尔再度遭遇失去亲人的打击，年仅22岁的女儿玛丽死于霍亂[113]。

道格拉斯参议员提出的《堪薩斯-內布拉斯加法案》在全美引发热议，菲尔莫尔也在此时回到公众视野。法案将为1820年《密苏里妥协》中北方州的奴隶制禁令划上句点，同时开放路易斯安那購地的北方地区，准许公民前往定居，对奴隶制也没有限制。依然拥有大批支持的菲尔莫尔周游全国，表面上看与政治无关，但私下却联合心怀不满的辉格党政治家，希望携手维护联邦，支持他再度出山竞选总统。菲尔莫尔在铁路通车仪式上公开露面，并于1854年冬春之交前往克莱参议员的墓地探视，同时避开公众视野与政要见面。[114]

《堪薩斯-內布拉斯加法案》在皮尔斯的支持下通过，辉格党早已分裂，剩下的对法案泾渭分明，菲尔莫尔的回归自然不可能会是党派崛起的信号。包括苏厄德在内的反奴隶制北方人士被吸引到新组建的共和黨，但菲尔莫尔觉得那里没有他的位置。19世纪50年代初期，许多美国人对移民、特别是不久前大批抵达美国的天主教徒颇具敌意，星条旗社（）等大量排外主义组织随之兴起。1854年，星条旗社已演变成美国人党（），外界人称“一无所知”，因为该党早期成员都需立誓对党内活动保密，面对询问就自称“一无所知”。[115]这年大部分支持菲尔莫尔的“国家辉格党人”都已加入一无所知，并推动新党接纳除排外主义以外的其他诉求[116]。一无所知党在1854年中期选举中的胜利令菲尔莫尔深受鼓舞，他们不但拿下北方多个州，而且在南方实力也不容小觑。1855年1月1日，菲尔莫尔将信件公开出版，在信中警示移民对美国选举的不利影响，随后不久便加入星条旗社。[117]

菲尔莫尔同年出国，并公开表示旅行是因为没有公职要忙。此次行程源自政治友人的建议，希望借旅游让他避免卷入争议。1855年3月至1856年6月，菲尔莫尔在欧洲和中东停留一年多。据称维多利亚女王就曾称赞这位前美国总统是她见过最帅气的男子，他还很巧地与范布伦同时抵达英国下议院旁听席，引起下议院议员约翰·布莱特（）的注意和感慨。[118]牛津大学本想向菲尔莫尔授予民法博士名誉学位，但菲尔莫尔自认“文学或科学素养”都配不上而谢绝[119]。据称他还自认“没有接受过古典教育”，因此无法理解文凭上的拉丁语：“在我看来，任何人都不应该接受他根本看不懂的学位”[120][121]。不过，牛津学子经常起哄或嘲笑接受这种名誉学位的人，可能这才是菲尔莫尔谢绝学位的真正原因[122][注 6]。

多萝西·狄克斯比菲尔莫尔更早来到欧洲，正为改善精神疾患境遇游说，两人多次见面并继续保持通信[124]。仔细权衡政治利弊后，菲尔莫尔在罗马与教皇庇護九世见面，之前得知按习俗他必须下跪并亲吻教皇的手时还差点取消会面。最终两人见面期间教皇一直没有站起来，这样前总统就无需行下跪和吻手礼。[125][126]

菲尔莫尔1856年的竞选搭档安德鲁·杰克逊·多尼尔森

菲尔莫尔的盟友已经完全掌控美国人党，他还没回国就获得该党总统候选人提名，来自肯塔基州的安德鲁·杰克逊·多尼尔森（，杰克逊总统的亲家侄儿）在党代表大会上成为他的竞选搭档。1856年6月，菲尔莫尔在一片欢呼声中高调回国，纽约市为他举办大型招待会，接下来他又出席州内各地欢迎会，把握机会上台演说直至返回水牛城。从致辞来看，这些讲话与竞选演说相比倒更像是对他人破费致谢，这样如果之后的确有望争夺总统席位，他也不会因谋求公职授人以柄。菲尔莫尔发出警示，如果共和党候选人，在南方基本无人问津的前加利福尼亚州联邦参议员约翰·弗雷蒙特（）当选，必导致联邦四分五裂并引发内战。他和民主党候选人、前宾夕法尼亚州联邦参议员詹姆斯·布坎南都认为奴隶制属州内事务，联邦政府无权干涉。菲尔莫尔极少谈及移民问题，而是关注南北双方的立场鸿沟，呼吁维护联邦。[127][128]

菲尔莫尔在1856年大选中只赢得马里兰州（粉红）的选举人票

回到水牛城后，菲尔莫尔没有理由再公开演讲，他的竞选活动在1856年夏季和秋季基本停滞。威德等昔日辉格党的政治调停人倾向加入共和党，美国人党缺乏政治经验，基本上只会宣扬排外主义思想，这就导致菲尔莫尔维护联邦的主张鲜有耳闻。南方人看好菲尔莫尔，许多人担心弗雷蒙特当选会导致国家分裂，部分认可菲尔莫尔的人于是转投布坎南阵营，避免反对弗雷蒙特的选票分散致使共和党候选人当选。[129]斯卡里认为，1856年发生的众多事件，如堪薩斯領地的武装冲突、联邦参议院的肢体冲突令国家两极分化，菲尔莫尔的温和立场已不合时宜[130]。

布坎南在选举日以183万6072张普选票（45.3%）和174张选举人票胜出，弗雷蒙特获134万2345张普选票（33.1%）和114张选举人票，菲尔莫尔位居第三，获87万3053张普选票（21.6%），并拿下马里兰州的八张选举人票，成为美国历史上首位获选举人票的前总统，数十年后才有格罗弗·克利夫兰（1892年）和西奥多·罗斯福（1912年）跟进[131]。美国人党候选人在南方多个州都以微弱劣势屈居第二，如果在路易斯安那州、肯塔基州和田纳西州再获得不到八千票，选择结果就需联邦众议院裁定，这样各方的立场鸿沟将导致结果无可预料[132]。

历史学家艾伦·内文斯认为，菲尔莫尔不是一无所知党员，也不是排外主义者，获提名时他根本不在美国，也没有任何人对竞选征询他的意见。更重要的是，“他从未通过口头讲话或书面文字认同美国人党的信条。”[133][134]他“希翼的只是民族团结，认为只有美国人党才能对奴隶制持续不断的纷争和煸动视而不见，成长为真正的民族政党”[6]。

卡罗琳·菲尔莫尔

1856年竞选失利后，菲尔莫尔自认从政生涯已经结束，对于继续当律师，他还是找不到昔日那发挥自如的感觉。不过，他在1858年2月10日续弦再娶家境富裕的寡妇卡罗琳·麦金托什（），经济上再无后顾之忧。菲尔莫尔也积累有一定财富，两人在水牛城尼亚加拉广场买下大别墅并在此度过余生。[135]菲尔莫尔夫妇积极赞助娱乐和慈善事业，史密斯就称“他们几乎对所有能想到的理由都慷慨解囊”[136]，赞助项目包括水牛城历史学会（），以及他协助创办的水牛城总医院（）[137]。

南北战争期间的菲尔莫尔

菲尔莫尔在1860年总统大选中投票支持北方民主党人提名的道格拉斯参议员，但最终当选的是共和党人、伊利诺伊州联邦众议员亚伯拉罕·林肯。美国面临分裂危机，许多人征询菲尔莫尔的意见，但他自认影响力不足，拒绝卷入其中。[138]他谴责布坎南在南方州脱离联邦时无所作为，称联邦政府虽然不能强迫各州行事，但那些鼓吹分裂的人应该当成叛徒处理。林肯前往首都就职期间经过水牛城，菲尔莫尔带领当地名流迎接，在自家宅邸款待新当选的总统，还带他一起前去教堂。战争爆发后，菲尔莫尔支持林肯维护联邦的举措，[139]还亲自统领纽约上州45岁以上男子组成的联邦大陆军防卫队，受训负责在邦联来犯时守卫水牛城地区。联邦大陆军开展军事演习并行使礼仪职能，如参与游行、葬礼等活动。林肯的丧葬列车停留水牛城时也是联邦大陆军守护。战争结束后，菲尔莫尔继续积极参与防卫队事务直至去世。[140][141]

菲尔莫尔积极参与备战，但随着内战局势逐渐明朗，他在1864年初发表演说，称国家已经因为这场战争损失太多生命和财富，呼吁对南方宽大处理。林肯政府认为这是攻击联邦的言论，在大选年不能容忍，批判菲尔莫尔的报纸文章蜂拥而至，谴责他就像混在联邦内部的民主党铜头蛇，甚至骂他叛徒，这也导致许多群体对菲尔莫尔的恶感旷日持久。[142]菲尔莫尔在1864年总统大选中支持民主党候选人乔治·B·麦克莱伦，认为民主党立即停战、准许脱离联邦各州保留奴隶制回归的计划最有希望恢复联邦[143]。

1865年4月林肯遇刺后，菲尔莫尔家中房子因未像其他人那样以各种形式表示哀悼被人投掷黑墨水，显然他此时不在水牛城，回家后马上就为窗户换上黑色窗帘。虽然他还是水牛城的头面人物，林肯的丧葬列车经过该市时还获选为总统送行，但许多人仍对他的战时立场耿耿于怀。[144]菲尔莫尔支持安德鲁·约翰逊总统的重建政策，认为国家需要尽快和解[145]。他把大部分时间投入公共事务，协助建立水牛城美术馆，水牛城因此成为第三个拥有常设美术馆的美国城市[146]。

晚年的菲尔莫尔身体一直很健康，但在1874年2月中风，同年3月8日第二次中风后去世，享年74岁，遗体于两天后在水牛城森林草坪公墓下葬。数以百计的名流前来水牛城为他送行，[147]其中还有三名联邦参议员，林肯内阁首位副总统、缅因州议员汉尼巴尔·哈姆林就在其中[148]。