每逢天热的傍晚，曹锟有时还带着小板凳悄悄出门，和周围的居民坐在一起闲聊，住在附近的不少穷邻居吃罢晚饭便会聚过来，坐在小板凳上，边喝茶，边聊天，有拉洋车的，有卖菜的，有卖大碗茶的，还有店铺里的伙计。大伙谈年景，唠行市，聊政局，无拘无束，无所不谈，和这些贫苦市民们在一起，他才真正明白了什么是老百姓，自己仿佛也是个老百姓。此时的曹锟真正尝到了无官一身轻和置身淳朴百姓之中的快乐。曹锟出门闲聊，不带侍从，好长时间居民们不明他的身份。一天傍晚，曹锟又像往常一样出去乘凉聊天，他光着膀子，拿着大蒲扇，和穷苦居民们一起谈天说地。大家东一句西一句，想起什么就谈什么，谈着谈着，话题就转到了民国总统的艳事上来，诸如袁世凯十度洞房花烛夜、冯国璋误中美人计，等等。接着，就谈到了曹锟，其中一位洋车夫大发牢骚：“老子一天到晚跑断了腿，还挣不到一块大洋，他妈的曹锟哪来那么多钱买总统当，还不是榨咱们穷人的血汗钱！”曹锟往日谈起政局，比别人知道得多，谈得也多，有时会滔滔不绝，现在见别人揭他贿买总统的短处，他便一声不响，拿起小板凳准备离开。这时，一个侍从因家里来客到各处找他，发现他在这里，就说：“曹大总统，你怎么到这种地方来了，找得我好苦啊。”一句话暴露了曹锟的身份，旁边的贫苦市民们惊讶地说：“您就是曹大总统？”他们从未想到经常和他们一起闲聊的这个胖老爷子竟是曹锟。曹锟暴露了身份，现在虽然不是总统了，但也和一般穷苦老百姓有所不同，以后就不便出来和这些贫苦市民谈唠了。
曹锟和刘夫人在一起，生活得比较平静、舒畅，但是依然摆脱不了家事的烦恼，问题还是来自夫人之间的争斗。
曹锟来到刘夫人这里后，家中钱财都由刘夫人掌管。刘夫人生活比较奢华，吃穿自不必说，就是玩起来也不惜花钱。一天，刘夫人高兴，和丫环换了装束，跑到一个人称“无非子”卦封摊前去相面。刘夫人指着换了装的丫环说：“这是我家小姐，请给她算算，今年有无好运。”这种换装术逃不过江湖术士的眼睛，“无非子”从两个人的举止、气质等方面已经识破了她们的真正关系，却假装不知，摆出一副认真的样子说：“小姐的命不太尊贵，算了，我不收你的钱，跟你直说吧，你不仅今年没有好运，来年也难遇到好运。你的命里没有富贵，而且还有沦为下人的可能。”刘夫人一听，瞪起双眼，厉声说：“你这江湖骗子，有眼无珠，竟敢对我家小姐一派胡言。”“无非子”故作惊异，对刘夫人说：“哎呀，这丫环倒是大福大贵之相，今生恐怕要做一品夫人。”说得刘夫人心花怒放，满脸喜悦，一甩手，就给了“无非子”100块大洋。不久，曹锟的夫人100块大洋相一次面的新闻就在天津传开了。
陈夫人对刘夫人接走曹锟，尤其对刘夫人掌管钱财非常不满，她认为曹锟一旦去世，家财的大部分会落到刘夫人手里，所以，应该在曹锟在世时弄一笔钱出来。陈夫人抓住刘夫人相面一事为由，亲自到泉山里去评理争财。陈、刘二人向来不和，积怨已深，一见面没说上几句，就吵了起来。恰好这天曹锟外出访友，别人也劝阻不了，最后，陈夫人带伤而归。
陈夫人钱未争到，反倒负伤，羞愧难当，决意报复。她买通英租界工部局一些职员和巡捕，雇了一批流氓打手，又以万元重金聘美国流氓律师为法律顾问，准备再次动武。刘夫人闻讯，则针锋相对，买通了英租界工部局另一些职员和巡捕，也雇了一批流氓打手在住宅周围警戒巡逻，严阵以待。双方相持数日，各自花掉大笔钱财，京津一带的小报接连刊出报道，闹得满城风雨，成为人们街谈巷议的有趣话题。这对曹锟及曹氏家族来说，无疑是有失体面的一大丑闻，对曹锟是一重大刺激。
曹锟家事的另一大烦恼，是其长子曹士岳的婚变。此事发生在曹锟的晚年，使其在精神上遭到难以承受的刺激。
1937年抗战爆发后，经一位北洋派元老撮合，曹锟的长子曹士岳与袁世凯的第十四女袁祜贞成婚，可是，好景不长，婚后四个多月便感情淡漠。1938年初，二人因琐事争吵，互不相让，袁祜贞往娘家打电话求援，曹士岳情急之中开枪打伤了袁的右膀。袁祜贞因伤住院后，曹士岳在袁家控告下被租界当局拘留。于是，两位前总统的儿女婚变并诉诸法庭一事，被天津大小报纸当作趣闻争相报导。
曹锟没想到曹士岳夫妻关系破裂，更没想到自己的儿子会遭此大祸，事情发生后，确是又痛心又着急。他又感到，自己在袁世凯属下多年，袁有恩于自己，袁女却被自己的儿子打伤，实在对不起提拔自己的老上司，自己百年之后也将无颜见袁于地下。为此，他想尽快平息这一婚变案，派侄儿曹士杰的妻子拿了3000块大洋前往医院探望，又请北洋政府两位前总长到袁家疏通、调解。
这时，袁世凯的长子袁克定执掌袁家大权，他平日与曹锟交谊甚厚，见曹锟极力和解，再坚持控告似乎不近人情，便表示愿意和平解决。但是，袁祜贞的生母八姨太郭氏却认为曹士岳视其孤儿寡母为软弱可欺，才敢开枪伤人，坚持要和曹家把官司打到底，弄得袁克定也不便坚持己见。最后，还是袁祜贞提出了意见，解除婚姻关系，并取得一定赔偿就可以了，否则诉诸法庭，于袁曹两家的面子都不好看。于是，袁家撤销了诉讼，双方签订了离婚协议，解除了婚姻关系，曹家赔偿医药费及其他费用共63万元，退还结婚时袁家的所有陪嫁财物。轰动津门的曹袁婚变案就这样“私了”了。
此案虽然圆满和解，但对曹锟这个年逾古稀的老人来说，精神上和心理上的刺激着实是不轻的，每当想起或别人提起此事，总觉得对不住死去的袁世凯，一种愧疚之感不时袭扰着他，心里依旧是沉甸甸的。
袁祜贞离婚后到美国纽约定居。其丈夫是联合国官员。2005年底，袁祜祯去世，享年90岁。
曹锟息影津门后，中国政局发生了一系列变化。南方的北伐军胜利进军，在打败吴佩孚后又消灭了孙传芳的主力。1927年蒋介石、汪精卫先后发动政变，国共分家。中国共产党单独领导革命，在搞“工农武装割据”，井冈山的星星之火发展成燎原之势，国民党由宁汉对立到合流，以南京为中心建立了独裁政权，国民党新军阀蒋介石、冯玉祥、阎锡山、李宗仁四大派联合发动了对张作霖的第二次“北伐”。1928年6月张作霖退回关外，被炸身死，国民党进占京津，同年12月张学良在东北改旗易帜，国民党在形式上实现了全国统一。对于这一切，曹锟基本上不闻不问，漠不关心，只是藏身租界里，做自己的寓公，安度自己的晚年。
曹锟虽然出身低微，但他却是个粗中有细的聪明人，做了巡阅使以后，有钱有闲，便好做些附庸风雅之事。他好画梅花，善写“一笔虎”，晚年自署“渤叟”，还烦人给他刻了个“乐寿老人”的闲章。为了表白自己，还刻有“一点梅花天地心”，“万代一如”等闲章，其中晚年一枚闲章竟刻的是“弱冠从戎，服劳国家四十年归田，七十以后怡情翰墨之作”。今天，曹锟的翰墨也是收藏家们追捧的对象。
曹锟下野后的私宅在天津英租界，今名南海路(另一面临洛阳道)，离徐世昌的宅邸也就5分钟的路程，是一座砖混结构的三层小楼。在那个时代，这一带无论上午还是下午，除了经常能见到外国巡捕和静静驶过的小汽车之外，几乎见不到行人。曹锟来天津隐居时，他有两个夫人在天津租界地住，起先他与三夫人住在一起，时间不长，就搬到四夫人刘凤玮这里，直到去世。
曹锟的这座宅邸，腰线采用立柱造型，并且顶层出檐，所以沉稳中渗透着气势。
曹锟的政治名声不太好，仅“贿选”二字，便打了许多折扣。再加上下野后初到天津时，他的两个夫人因争宠争财而大打出手，双方雇用了许多流氓打架，后来又发展成巡捕持枪对峙，直闹得英租界一片硝烟。一段时间里，大报小报都是曹锟家里械斗的消息。
但曹锟却在自己的人生终结之时，高风亮节了一次，而且极为感人。如此的人生句号，应该说曹锟画得相当圆满。
1931年日本发动“九？一八事变”后对中国的步步侵略，引起了曹锟的极大关注。日本继“九？一八事变”在东北建立伪满洲国后，1932年又向关内扩张，占热河，越长城；1935年又制造“华北事变”，企图建立第二个伪满洲国；1937年制造卢沟桥事变，发动了全面侵华战争。日军在占领了华北、华中大片国土后，采取“以华治华”策略，搜罗汉奸，急于在各沦陷区成立“治安维持会”，一些趋炎附势的无耻之徒为虎作伥，成了不齿于人类的汉奸走狗。1937年12月在北平成立了以王克敏为头子的华北伪政权“临时政府”，1938年3月在南京成立了以梁鸿志为头子的华中伪政权“维新政府”。日本为了把这两个伪政权及其他的汉奸组织合并为一个统一的亲日的伪“中央政府”，极力寻找一个有“资望”的人充当首脑，才能与蒋介石国民政府抗衡。于是，便在北洋时期出任过总统、总理及其他有影响的人当中物色人选，曹锟就是重要的对象之一。
于是早年这条当时叫做达达克拉道的街上出现了许多高级轿车，日本特务头子土肥原贤二亲自策划对曹锟的诱降工作。他首先派出几个日本军政要人身着便装，悄悄来到天津英租界，直接到泉山里曹宅造访，曹锟出于礼貌接待了他们。几个日本人认为曹锟退出政坛多年，能有机会重新理政，一定会乐于应允的，因此，谈话一开始就直接提出，邀请有资历、有声望、能与蒋介石抗衡的曹大总统出山，建立一个以曹锟为中心的新政府。曹锟在军政两界当权时倾向英美，对日本人素无好感，再加上“九？一八事变”，日本的侵略行径及其给中国民众带来的灾难，使曹锟增添了一层对日本的愤恨。这次，见日本人公开登门诱降，便更加气愤，于是打断了日本人的话，指着他们历数了日军在东三省和华北所犯下的罪行，最后坚定而明确地表示：“就是每天喝粥，我也不会去为你们日本人办事！”日本人走后，曹锟又告诫刘夫人和一双儿女，中国人一定要保持民族气节。
土肥原接着又利用已做汉奸的曹锟的旧部前来劝降。直系大将、原江苏督军和苏皖赣巡阅使齐燮元，“七？七”事变后即卖身投敌出任伪军政职务，任“华北临时政府”的治安部总长、北京治安督办。一天晚上，齐燮元趁着夜深人静，到曹宅叩门求见，曹锟知道他已经投敌，便叮嘱门房老胡不要开门。齐在门外叩门许久不见开门，气得在门外用拐杖使劲敲门，边敲边大喊：“你知道我是谁吗？”老胡在门里嘲笑着说：“知道，你不是那齐三爷吗？可是总统确实有病住院了，夫人和孩子都睡了。”齐燮元知道曹锟就在家中，是有意闭门不见，可也没有办法，就气恼地走了，以后也没脸再登曹家的门了。
接着当了伪河北省省长的高凌霨又奉日寇之命来访，当时曹锟正躺在炕上抽大烟，一见高凌霨，脸色陡变，勃然大怒，把烟枪往地上一摔，大声吼道：“你给我滚出去，以后不许你登曹家的门！”见老长官如此震怒，高凌霨吓得浑身哆嗦，一个字也说不出，被几个侍从架着慌忙溜走，从此，再也不敢露面。
日本人并不死心，三天两头地来请曹锟出山：“只要你肯出面，什么话都好说。不用你开价，高官厚禄等着你哪！”您猜猜曹锟怎么说？
“甭啦，还是算了吧！我吃不愁花不愁，又是这么一把子年纪了，犯不上再挨国人的第二次骂喽！”
他不肯赏脸，日本人也不善罢甘休，两天不到，三天头上准是早早地来到他家，横竖一句话，请他出山。
说来曹锟也拧，不管日本人怎么说，他同样还是横竖一句话：“不能二次再挨国人的骂！”
在曹宅前出现过许多日伪大人物，包括日本华北方面军特务部少将部长喜多诚一等，无不铩羽而归。
日本人物色了几个北洋时期的重量级人物徐世昌、曹锟、吴佩孚等，都没有诱降成功。他们几位拒绝与日本侵略者“合作”，在民族大义面前，其晚节不亏，殊堪嘉许。后来，汪精卫投敌叛国，才在南京成立了“国民政府”。
曹锟晚年坚决拒绝与日本人“合作”，与四夫人刘凤玮有直接关系。刘凤玮是天津郊区人，家世贫寒，从小学戏，专攻老生，艺名“九岁红”，曾轰动京津。曹锟看上刘凤玮后，几次派人说媒，最后明媒正娶，成了曹锟最宠爱的四夫人。刘凤玮虽然文化程度不高，但心地善良，聪明好强，关心民生疾苦，痛恨日寇暴行，有很强的民族自尊心，她坚决不向日本人妥协的态度对曹锟无疑是极大的支持。一次日本人在门外求见，刘夫人拦住曹锟，不让曹锟接见，并冲着门外指桑骂槐，高声叫骂。日本人讨了个没趣，灰头土脸地走了。
曹锟坚决不与日本人合作，不充当伪政权首脑，保持了民族气节，同时，又时刻关注抗战的进展。1938年4月8日，他的女儿曹士英像往常一样给他读当天的《大公报》。当他听到中国军队取得台儿庄大捷的报道时，高兴得从躺椅上一跃而起。大声嚷道：“我就不相信，咱们还打不过那小日本！”兴奋得叫儿女把这条消息连念三遍。
1938年5月，正是春夏交替的季节。一天，曹锟听女儿读的报上说，日本人从台儿庄败退后，又调集大批军队，形成了对徐州的包围。曹锟见日本人继续进攻，扩大侵略战争，气得站起来大骂了一通。骂完之后，由于心里焦躁，加之天气有些闷热，曹锟去洗了个凉水澡。当天晚饭后，曹锟感到身体不适，刘夫人派人请来医生，经诊断是洗澡着凉患了感冒。感冒本是一般的常见病，对于身体强壮的青年人来说，吃些药休息几天就会好的。可是，曹锟已经70多岁，原本身体就很虚弱，吃些治感冒药，休息了好几天，病情并不见好转，反而进一步发展为肺炎。5月16日，当刘夫人请来名医时，曹锟已经病势垂危，医生也束手无策了。曹锟在弥留之际，握住女儿曹士英的手说：“台儿庄大胜之后，希望国军能乘势恢复失土，余虽不能见，亦可瞑目。”说完，便溘然长逝，享年77岁。
第二天，《大公报》《盛京时报》等大小报纸都刊登了曹锟因患肺炎于5月16日下午1时在天津泉山里寓所病故的消息。6月14日，重庆国民政府鉴于曹锟在沦陷区忠贞不屈，大义凛然，特发布两道训令。第一道训令追赠曹锟为陆军一级上将，第二道训令说：“故陆军上将曹锟息影津沽，抱道自重。比岁以来，值寇势之方张，遭奸佞之叵测，威胁利诱，逼迫纷乘，而该上将正气凛然，始终峻拒，不挠不屈。通国具瞻，且于疾革弥留之际，拳拳以抗战胜利为念，忠诚纯笃，志节昭然，尤见军人之风范，足垂奕祀……特先颁赠‘华胄忠良’匾额一方，一俟寇氛靖平，再议饰终令典，凡其旧日僚属能断志励操矢忠报国者，并当一体宏奖，优予登用，藉示眷念忠贞淑浊扬清之至意。”
曹锟的葬礼十分隆重。吴佩孚派夫人张佩兰赴津吊丧，吴本人则在北平身穿重孝举哀致悼，日本方面、国民党方面部派人前来吊丧，并送给刘夫人大笔抚恤金，但遭到刘夫人的拒绝。
曹锟家眷及旧部幕僚、亲朋好友几百人均披孝参加了葬礼，灵柩暂厝于天津英国公墓。
