刘备经过襄阳时，诸葛亮再次劝他攻城，刘备却不忍心。他在城外大声呼叫刘琮，可怜的刘琮心虚惶恐，不敢露面，于是刘备前往刘表墓，向已故的老州牧流泪拜别。

刘备这一连串举措，使得他与刘琮、蔡瑁等人的形象形成强烈对比：一边是坚守刘氏立场，力抗外敌，坚韧不拔，重情重义；另一边却是专搞兄弟内斗，对曹操卑躬屈膝，个人利益至上。

许多荆襄的百姓和有识之士不禁提出疑问：“同样都是姓刘的，做人的差距咋就那么大呢？”

于是，在刘备凛然正气的感召之下，许多有理想、有志气、有抱负的荆州“非亲曹派”人士，愿意放弃稳定的生活，选择跟随刘备，力抗北方侵略者。

南郡枝江人霍峻首先率领家乡民兵部曲数百人加入刘备军团，南郡宜城人、时任临沮县长的向朗也归附于刘备，共同向南撤退，其余跑来追随的平民百姓更是如流水般。当刘备走到当阳县时，整个撤退队伍已经膨胀到十余万人之众，所携物资数千辆。

庞大的队伍拖慢了行军速度，一日只能行进十余里，于是便有幕僚向刘备建议：“眼下最重要的是退保江陵，现在我们人数虽多，但都是一些不能作战的平民，要是曹军赶来，该怎么抵抗？”