后来瓦剌军败下阵来，伯颜帖木儿带着他仓皇北撤。他又有些怅然若失，意识到这一次返回家园的愿望又落空了。

塞外的天气十分恶劣。因为是迎着朔风往北走，漫天的黄沙夹着雨雪扑面而来，打得人睁不开眼。连胯下的马匹都趔趔趄趄，行进得很艰难。祁镇骑的那匹灰青老马，竟然鼻衄，足力不支，走一程便要歇下来喘息。祁镇不得已下马，在凛冽的寒风中抖缩成一团。这时他的身心都已凉透。一阵狂风夹着黄沙迎面扑来，竟把他扑倒在地。

袁彬和哈铭两个人扶着太上皇在一块石头上坐下来，他们二人肩并肩站在身后为他遮挡呼啸而来的狂风和沙砾。迎着风雪走了大半天，他们实在饿了。袁彬取出鞍囊中的马肉干，让太上皇就着皮囊中储的山泉水勉强果腹。

祁镇的坐骑不行了，哈铭牵去向伯颜帖木儿禀报，要来一辆载运辎重的勒勒车，套上一峰骆驼代替坐骑。重新上路时，太上皇祁镇坐在车里，车上的皮帘勉强可以遮风挡雨，比骑在马上颠簸强多了。遇到难走的险路或沼泽，袁彬在前面执控挽着骆驼，哈铭在后面保护车辆不致倾覆。君臣三人一路小心翼翼，颠沛流离，总算跟随伯颜帖木儿的大队，于十月中旬到达瓦剌部落的老营。这时的漠北，已是滴水成冰的隆冬时节了。