就要叫你们在徐州立不下脚！于是，当晚他就修书一封，派心腹侍从送往城西吕布的大营，说自己有要事与之相商，约定三日后在吕布营中见面。信使出发后，曹豹立即暗中联络陶谦旧部中对刘备等人心怀不满者，准备与吕布里应外合，袭取下邳。

三天之后，曹豹与吕布会面，说明来意。吕布正在打下邳城的主意，一听有人作内应，自然喜出望外。二人马上商定好行动日期和行动计划，各自准备不提。

又过了三日，吕布如约兴兵，沿着泗水东下，杀向下邳。吕布骑在赤兔马上，威风凛凛，得意非凡。当天傍晚，他来到下邳城西不足四十里处，忽然从城中驰来一位急使，向他报告了一个意外消息：曹豹被张飞杀死了！

原来，曹豹回转下邳城后，加紧活动。张飞察觉了曹豹的阴谋，抢先动手，把曹豹及其同党一一逮捕处死，城中局势大乱。张飞诛杀曹豹的同党时，漏掉了一个行动诡秘的人物，这就是中郎将许耽。许耽是扬州丹杨郡人，率领从丹杨招募来的精兵千人，戍守下邳城的西门。西门又称白门，因为古代以颜色和动物配合方位，东为青龙，西为白虎，南为朱雀，北为玄武，故而与白虎相配的西门也叫白门。由于许耽乃张飞麾下，而不是曹豹的部属，所以张飞没有注意到他。许耽见同党被诛，不免心中发慌，急忙派出密使与吕布联络，催他赶快进兵。