十日之后，刘备宣布：留关羽、诸葛亮、张飞、赵云等人守荆州。由关羽“董督荆州事”，全权负责处理州务。诸葛亮以军师中郎将为其辅佐。至于荆州官署的内部庶务，则由留营司马赵云总管。刘备自己，率领庞统、黄忠、孙乾、简雍、魏延等文武僚属和精兵两万，随法正西进益州。

江陵城南的长江边，帆樯如林，旌旗蔽天。刘备站在一艘三层楼船的顶层甲板上，满怀豪情地向岸上送行的人们挥手告别，场面至为壮观。然而就在此时此刻，送行人群中有一个人，心情却寂寞痛苦到了极点，她就是刘备的嫡室孙夫人。为了保守机密，丈夫在决定西上益州前三天才告知她一切，并以途中艰危为由，要她留在荆州。性格坚强的孙夫人，强忍一腔哀怨，送丈夫登上楼船。她望着在烟波中渐渐远去的征帆，心中清楚地认识到：联结这场姻缘的红线已经断了！

丈夫走后的次日，她即吩咐下人备船，要移居到东边下游公安的旧府。因为江陵的府邸本是周瑜故宅，住在这空荡荡的大庭院中，实在令人不愉快。当时，刘备的侧室甘夫人新死，所生儿子刘禅年仅五岁，由孙夫人带养。孙夫人东下公安，诸葛亮以为她可能是要回江东，急令赵云领兵前往码头抢下刘禅。孙夫人见刘备部属如此提防自己，更加坚定了自己“不如归去”之心。在江东，暴怒过后的孙权，渐渐冷静下来。这时，他最懊悔的，不是推举刘备为荆州牧，也不是出借“荆州”，而是把小妹许给自己在政治上的强劲竞争者。他立即下令：派专使接回孙夫人！