虽然吕布归还了甘夫人，但是刘备与吕布已经互生嫌怨。建安三年春，吕布派人去河内买马，半路上被刘备将马匹都抢走了，吕布正好没有借口，便遣部将高顺、张辽率兵攻打小沛。刘备知道自己的力量不支，飞书向许都的曹操求救。曹操立刻派遣夏侯惇领兵往援小沛。
夏侯惇来到小沛还没来得及安营，被高顺部下的锐骑冲得四散，急得他脚忙手乱。夏侯惇左目中了一箭，鲜血直流，多亏亲兵救护才逃出险境。刘备带着关羽、张飞前来接应夏侯惇，刘备正与高顺相遇，不料被张辽袭击背后，刘备全军陷落。他前后都没有了去路，不得已跑往梁地。小沛里只有孙干、糜竺等几个文士，甘糜二位夫人被吕布劫去。看来当刘备的老婆真是不容易，三天两头被人家抢走。
刘备跑到了梁地，正仓皇穷蹙的时候，曹操亲自督兵前来救他。救刘备是假，夺取地盘是真。曹军首先攻下了彭城，并将彭城的守兵平民全部杀戮一空，然后再引军进攻下邳。吕布作战失利，听信妻子严氏的话，又怀疑属下的谋士将领，导致将士离心，被部下侯成、宋宪、魏续出卖给曹操。这样刘备又找回了妻妾甘糜二位夫人。
建安五年曹操打败了刘备，甘糜二位夫人再一次被抢走，关羽也被擒。后来关羽听说了刘备流落到袁绍那里，遂带着二位夫人离开曹操回到刘备的身边。不过幼子阿斗在乱兵中窜匿西入汉中，被人贩子所卖。到了建安十六年，扶风人刘括避乱来到汉中，买到了阿斗。这时阿斗不知已经被卖了几次，估计是太傻的缘故，谁也不愿意养活他。刘括给他娶了媳妇，还生下一个儿子。起初阿斗与刘备失去联系时，还记得父亲叫玄德。邻居简雍后来依附了刘备，并告诉他阿斗的下落。于是刘备遣简雍到汉中寻找阿斗，张鲁知道后给阿斗洗了个澡送还给了刘备。
这件事鱼豢的《魏略》有记载，但不知是否可信，裴松之虽然对《魏略》作了辩驳，但鱼豢搞错的可能只是人的名字，并不能否认事情的存在，也就是说刘备还有一个史书上没有记载的儿子。因为阿斗的生母甘夫人并不是第一个正室，在她之前刘备还死了几个夫人。不过这已经是后话了。
甘糜二位夫人还算幸运的。据说刘备落难的时候，几天没吃到一粒米。一天他来到刘某的家里，见面刚报完中山靖王刘胜的名号就饿晕了过去。醒来后刘某端来一盘肉，刘备饥不择食囫囵吃了下去，见刘某的家里也十分贫寒，就问肉从哪里来的，刘某说刚才把自己老婆宰了给中山靖王下酒。原来这个刘某还以为刘备是中山靖王，不知道中山靖王是几百年前的死人，他琢磨着杀了自己老婆给中山靖王吃肉，中山靖王感激不尽一定会重重报答他，到时候美妻娇妾还少的了么？刘备一听也不敢说自己不是中山靖王，抽了个冷脚底抹油跑了。
曹操南取荆州以后，刘备从襄城跑到江陵。荆襄士民见刘备仁慈，害怕曹操的杀戮，便都携儿带女随刘备同行。到了当阳的时候，士民多到十余万，辎重也有好几千辆。走的速度很慢，每天只能走十余里。刘备每次大败的时候，妻子家眷都弃之不顾，此时庇护十万百姓纯属沽名钓誉。明显的是置百姓于死地，使对手得到恶名，可见其内心之忍，实为三国狡诈第一。曹操亲率大军长驱直追，刘备让张飞断后，赵云保护家眷。
曹军五千轻骑日夜追杀刘备，一日一夜行三百多里，在当阳长坂追到了张飞的断后部队。张飞兵少抵挡不住，甘糜二夫人被乱兵冲散不知去向。赵云不见了二位夫人，急忙持枪又从乱军中杀进一条血路，好容易才找到了甘夫人，将她带到长坂(长坂是地名，不是山丘名，《三国演义》说成长坂坡不正确)。张飞见到赵云便问及婴儿阿斗，才知道阿斗被糜夫人抱着，却不知道糜夫人在什么地方。赵云只好又一次冲进曹军阵中救出了糜夫人。此时糜夫人身体已受重伤，她奄奄一息地抱住阿斗。见了赵云后，为了让阿斗脱身，不连累赵云，她一跃跳入井中而死。赵云悲伤之余，推倒土墙掩盖水井，以免糜夫人的尸体受辱。
刘备见到赵云救回甘氏母子心里大喜，听到糜夫人已死又不禁大悲，一时间百感交集，又落下许多泪。甘夫人因为受惊成疾，一年后二十二岁的她也离开了人世。可怜甘糜二位夫人一生跟随刘备东奔西走，被人抢来抢去，几乎没享过什么福。
应当注意的是关于赵云单枪在曹军中七进七出纯是《三国演义》的敷衍虚构，其实赵云不是我们想象中的粉面朱唇，白缎盔甲，背上插着许多绣花三角旗的英俊小青年，他的年纪比刘备还大而且在蜀国的地位很低，死后一年多才得到追谥，完全不能与张飞、关羽、黄忠相提并论。所有赵云的英雄事迹来自《赵云别传》，但是《别传》内容可疑之处太多。
荆州地处西川与东吴之间，是历来的兵家必争之地。当初刘备没有立足的地方，向东吴借荆州暂时栖身，约定以后归还。赤壁之战后孙权想讨回荆州，刘备以各种理由再三推拖。而且鲁肃一提起归还荆州的事，刘备就放声大哭。周瑜劝孙权将妹妹嫁给刘备，以婚姻关系羁绊住他。孙权实在没有办法，就想趁刘备丧妻之机会，以其妹孙尚香送给刘备作继室为诱饵，借口吴国太夫人特别疼爱这个最小的女儿，不愿意远嫁，所以请刘备去东吴完成婚礼。名为东吴与刘备连亲，实则趁刘备过江之机加以拘禁，好逼诸葛亮拿荆州换回刘备。刘备有意联吴，便遵从了东吴的婚议，建安十四年冬天由赵云、孙乾陪同进入吴境。
不想孙权反弄巧成拙，在甘露寺吴国太是丈母娘看女婿，越看越喜欢，就真的招他为婿。结婚时刘备已年过半百，孙尚香也就二十来岁。结婚的那一天，一百多个侍婢簇拥着一位珠围翠绕的袅娜佳人与刘备参拜天地。待到入了洞房刘备不禁吃了一惊，洞房里面刀枪剑戟杀气腾腾，侍婢都佩剑侍立在一旁，好像要出兵打仗的样子。刘备忙哆嗦着问：“这是做什么？”侍婢说：“我们郡主从小喜欢练武，一向是随身不离兵器。”刘备说：“今夜是洞房花烛的好日子，还是将这些暂时拿开的好。”孙夫人撇嘴说：“你打打杀杀了大半生，难道还怕兵器么？”
不满归于不满，孙夫人还是脱下戎装，丢下兵器。这时刘备仔细端详，这个孙夫人神采奕奕，长得也很端正，于是紧张害怕的心情也消失了一大半。孙夫人横眉立目的时候确实吓人，但温柔起来也是惊天动地的销魂。于是二人携手进入帏帐。
刘备一连住一个多月，这才从温柔乡中醒过来想起了荆州的部下。他对孙权说曹操眈视荆州不能不回去，孙权不好说不放的话，况且刘备早将吴国太哄得团团转，另外他也想让刘备在荆州作为曹魏和东吴之间的缓冲。等到刘备携孙夫人回到了荆州以后，周瑜从江陵来见孙权，问起孙权为何放刘备回去，孙权说是防备曹操。周瑜只好无奈叹息。他给孙权分析了形势，孙权也很后悔，真是“赔了夫人又折兵”。
