张爱玲在香港遇到诸多不顺，必定心情不畅。而那些日子里比她更不开心的估计是她的丈夫赖雅了。年纪渐长的赖雅越来越依赖张爱玲，甚至一天也离不开她。张爱玲在台湾、香港的日子里，赖雅不断给她写信，诉说自己的病情和日常生活，并多次提出希望张爱玲早日回美国。
知道张爱玲将要回来的消息后，赖雅兴奋极了。1962年3月16日，他在日记里记下“爱玲离港之日”。张爱玲之前在信中告诉他自己到达的时间是3月18日，不过在3月17日那天，他就迫不及待地去了一趟机场，眼巴巴地等了一整天，仿佛等着等着，张爱玲就会提前出现一样。第二天，他和女儿霏丝去机场接张爱玲。他告诉她，自己又换了一个新房子，是在霏丝家附近，第6街105号的一个叫“皇家庭院”的公寓里。
那天刮着大风，天气也很冷，可是重逢的喜悦战胜了天气的不适。张爱玲与赖雅兴致勃勃地游览了国会大厦和国会图书馆。张爱玲发现，他们的新家距离国会图书馆很近，这为他们各自的写作都提供了很大的便利。赖雅在图书馆申请了一个座位，张爱玲也申请了一个，开始常常去那里查找写《少帅》所需要的材料。
或许是年纪大了便更喜欢享受天伦之乐，原本豪放不羁，在第一段婚姻里无暇顾及家庭的赖雅，此时与女儿霏丝走得更近了。他经常到霏丝家里去吃饭、聊天，与孙子们一起下棋、看棒球比赛、讲故事。赖雅跟他们在一起，感到由衷地快乐。
赖雅希望张爱玲跟自己一起去霏丝家做客，霏丝也多次邀请张爱玲，但张爱玲总是以各种理由推托，不愿与赖雅同去。一方面原因是她不喜欢应酬，另一方面，她对自己与霏丝之间的关系也总觉得有些尴尬。她和霏丝的年纪差不多大，但却是霏丝名义上的母亲。而且由于自身的经历，她对于“后母”这个词是有一种本能的厌恶，但她现在的身份却正是一位后母。这让她感到不知该如何面对霏丝，所以干脆避而不见。
赖雅身体不好，写作事业上又没有什么进展，张爱玲成了家庭的顶梁柱，他们的日常开销基本都是依靠她写剧本所得的稿费。但是电懋公司的老板出事后，宋淇也不得不离开公司，不能再继续帮助张爱玲了。张爱玲一下子陷入了深深的困境。但在表面上，她不想给赖雅太大压力，所以还是经常陪他一起去图书馆，一起购物。不过她已经在暗暗担心他们的生活了。当时赖雅每个月有52美元的社会福利金，这几乎成了他们唯一的收入。
张爱玲不得不考虑搬家了。这一次，他们搬到了黑人区中的肯塔基院，这里属于由政府扶持的廉价公寓，租金相对便宜。同时，她也开始四处寻找挣钱的手段。这时，她得知自己的老朋友麦加锡已经回到美国，在美国之音广播电台工作。张爱玲不得已又去求助于他。麦加锡一直很欣赏张爱玲，于是毫不犹豫地答应了她，介绍她给美国之音改编广播剧。
这种编剧本的工作对于张爱玲来说不算困难，虽然并不是她最喜欢做的事情。她首先是把台湾作家陈纪滢的长篇小说《荻村传》改编成连续广播剧，后来又改编了苏联著名小说家索尔仁尼琴的小说《伊凡生命中的一天》。麦加锡给张爱玲开最高的酬金，帮助她解决了不少困难。
张爱玲在为家庭拼命努力着，然而她不愿看到的情况还是发生了。赖雅的身体状况越来越糟，经常要到医院去看病，有时还必须住院。生病要花不少钱不说，关键是需要人时刻在旁边照顾。赖雅的亲人只有张爱玲和霏丝，但她们都有繁忙的日常事务，不可能一刻不离地陪在他身边。有一天，赖雅从国会图书馆出来时，在路上不小心摔了一跤，把股骨摔断了，只能卧床不起。祸不单行，他接着又中风了，完全无法活动。最后，他瘫痪了。
张爱玲毕竟生长在贵族家庭，虽然家境衰落，但也从小都有用人照顾。她从来没有照顾过别人，也不熟悉该如何照顾别人。瘫痪在床的丈夫给她出了个大难题，他大小便失禁，由于忧郁而沉默寡言，这些都让张爱玲有些不知所措。但她没有忘记做妻子的责任。她不会开车，每次需要送赖雅去医院时，只好求助很少打交道的霏丝。为了方便照顾赖雅，她在家里的起居室安了一张行军床，晚上就睡在上面。白天，她还要努力写作挣钱。巨大的生活压力让张爱玲觉得很累，难得开心一下，家里的气氛也越来越压抑。
1966年，张爱玲得到邀请，到俄亥俄州的迈阿密大学担任驻校作家。她很想去，但又担心赖雅无人照料。她原本希望霏丝能把赖雅接回去照顾，但霏丝平时很忙，又要工作，又要照顾孩子，没法很细致地照顾赖雅。张爱玲又找了两个住在附近的黑人女子来帮忙照料，并付给她们酬劳。但由于赖雅大小便失禁，她们又不能很好地保持房子里的卫生，张爱玲还是不太满意。最后，她决定还是由自己来亲自照顾赖雅，于是来到迈阿密大学不久，就把赖雅接了过去。
后来，张爱玲又离开迈阿密大学，前往哈佛大学雷德克利夫女子学院去工作。她依然带着赖雅，自己照顾他。当时赖雅已经病入膏肓，瘦得皮包骨头。他感到自己成了张爱玲的拖累，虽然不表现出来，但他内心在深深地自责。有一次，他的一位表亲专程来看望他，他却把头转向墙壁，坚决让这位表亲马上离开。他不愿别人看到自己这个样子，不愿别人为自己伤心难过。
张爱玲既要写作，又要照顾赖雅，虽然辛苦，但内心是充实的，毕竟他是她的丈夫，就在她的身边。可是他终于还是丢下她先走了。1967年10月8日，赖雅去世了。没有举行葬礼，骨灰由霏丝安葬。
经历了与胡兰成的激情岁月，又经历了与赖雅的生死相依，张爱玲再次开始了一个人的生活。她至死都保留着赖雅的姓，始终以赖雅夫人自居。赖雅活在她的姓名中，抚慰着她余生的孤独。
