刘备取得益州后根本不想归还荆州，孙权便趁刘备西征入川的时候，悄悄给妹妹写信谎称吴国太病重，想将孙夫人和阿斗骗到东吴，然后用阿斗换回荆州。好像来来回回就这么一条计策。孙夫人不辨真伪，匆匆携阿斗登船回吴国，诸葛亮派赵云勒兵断江留住了阿斗，只放孙夫人一人回东吴。孙夫人到了东吴后才知吴国太根本没有病。从此以后，孙夫人留在了东吴，被迫还是自愿不得而知，只是与刘备再也没有见面，他们的夫妻生活大约就持续了三年。
当初孙夫人虽然也有温存的一面，但日常倚仗兄长的势力不把刘备放在眼里，一向说一不二，不仅左右大将都怕她三分，刘备也不敢违怫。而且孙夫人从东吴带来一批吏卒，在蜀地纵横不法，谁都无法约束，好像是闺中的敌国，时刻还必须加以防备孙夫人手中的刀剑。等孙夫人回到了东吴，刘备回想起的只有那些提心吊胆的感觉，所以也不派使者去东吴迎接孙夫人。
刘备最后一位夫人吴氏是陈留人，少年时失去双亲，她的父亲一向与益州牧刘焉有旧交，因此举家随刘焉进入蜀地。刘焉心有异志，他听看相者说吴氏以后会大贵，便想纳吴氏为妾，但是苦于自己与吴氏的父亲是莫逆之交，与吴氏的辈分不相当，就只好让自己的儿子刘瑁娶了吴氏。刘瑁死后吴氏寡居。公元214年夏天刘备取得益州城，群臣劝刘备聘娶吴氏。刘备心疑自己与刘瑁同族在礼法上不妥。法正说：“若论起亲疏，您与刘瑁比得上晋文公与子圉的关系么？”于是刘备决定纳吴氏为夫人。吴氏虽然寡居再嫁，但艳丽不减当年，刘备重新领略了空旷已久的温柔滋味。
建安二十四年，刘备称汉中王，立吴夫人为汉中王后。章武元年夏五月，刘备称帝立吴后为皇后。
孙权难以收回荆州，又想与关羽结为儿女亲家，但关羽不仅拒绝了孙权，还以“虎女焉配犬子”的话来鄙夷孙权。孙权出离愤怒，派吕蒙攻打荆州。关羽大意失荆州败走麦城，以至于身首异处。
刘备一心要为二弟报仇，不顾诸葛亮等大臣的劝阻，倾全蜀的二十万兵力连营七百里进攻东吴。孙权提出“归还荆州，送还夫人”的讲和条件，孙夫人也附密札，叙述夫妻之情与相思之苦，都被报仇心切的刘备一口回绝了。东吴大将陆逊用计火烧刘备的连营，刘备与剩下的不到一万士兵败溃逃回白帝城。在彝陵之战刘备被东吴一把火烧了连营之后，孙尚香听到传言以为刘备已经死了，她在长江边祭奠完刘备后投江殉情而死。今天绣林镇北郊长江南岸还有一座望夫台，据说是孙夫人曾在此遥望夫归，望夫台上的脚印至今仍然依稀可辨。
刘备听到噩耗不禁又想起了孙夫人的好处，加上这一仗使勤苦半生建立起来的蜀国元气大伤，于是他恹恹成病。六十三岁的刘备自知不起，将阿斗托付给诸葛亮等五个大臣后离开了人世。刘禅即位，谥刘备为汉昭烈皇帝，秋八月葬于惠陵。
延熙八年吴后去世。起初甘夫人去世后葬在南郡。章武二年追谥为皇思夫人，迁葬于蜀国，灵柩还没有到，刘备已经在白帝城去世。丞相诸葛亮上表后主刘禅追谥甘夫人为昭烈皇后，与刘备合葬在一起。
