;妻孥三千余人，宗室男妇四千余人。贵戚男妇五千余人，诸色目三千余人，教坊三千余人”等北还，其中就包括赵构康王府的三位有名位的妻妾和五个女儿，其正妻邢氏已有身孕，结果在北迁的路上“以坠马损胎”。惟有妾潘氏也已妊娠，因无名位，住在开封自己家中，独得躲过这一劫，后回到赵构身边。赵构即位一个多月之时，即建炎元年（1127）六月，其子赵旉降生，潘氏也晋立为贤妃。

建炎三年（1129），武将苗傅和刘正彦在杭州发动兵变，逼迫高宗逊位，立他的三岁幼子为帝。后韩世忠统兵历时一个月平定了叛乱，处苗、刘以磔刑。然而此事变最严重的后果是：赵构在此次事变中受惊吓而从此阳痿，才二十三岁就丧失了生育能力。不久，三岁太子也受惊吓而离开人世。在潘贤妃妊娠期间，正值金军破开封府前后，她成天提心吊胆，生活艰难，故所生之子先天不足，体弱多病。据说七月间一天，赵旉患病时，恰好有一宫女，不惧踢翻了一只鼎，“仆地有声，太子即惊搐不止”。高宗大怒，“命斩宫人于庑下”，然而仅过片刻，赵旉就停止了呼吸。两件事发生于同年，如此巧合，莫非天意。