天祚帝在西夏期间仍心神不定，他知道女真人是不会放过自己的。果然，不久金国便派遣使臣入夏，向李乾顺提出：如天祚帝逃入夏境，应将其擒捕送给金国。夏国如果能以事辽之礼来事金国，那么，金国则可将原辽国西北一带的土地割让给夏国。李乾顺见辽国灭亡已成定局，为了保全夏国，遂答应金国提出的条件。
耶律南仙将这个消息偷偷告诉了天祚帝，天祚帝害怕被李乾顺执送金国，于是迅速离开西夏。
天祚帝重回夹山大本营，惊讶地发现耶律大石也正在这里，而且队伍又壮大起来了，他很高兴。耶律大石是去年九月的一天夜里，趁金军不注意，带领七千人马逃出金营的。他们在夹山养精畜锐，以待时机。关于耶律大石曾被金军俘虏并给金军做向导一事，天祚帝似乎并不知晓。
不久，阴山鞑靼毛割石部也来到夹山投靠天祚帝。有了这两只队伍，天祚帝自谓得到天助，信心大增。宣和六年七月，他决定兵出夹山，收复燕云地区失地。
耶律大石头脑很清醒，他知道如果此时出击金军，无异于以卵击石。他对天祚帝说道：“自金人初陷长春、辽阳两路，则车驾不幸广平淀，而都中京。及陷上京，则都燕山。及陷中京，则都云中。及陷云中，则奔夹山。向以全师不谋战备，以至举国汉地全为金人所有。国势微弱至此，而力求战，非计也。当养兵待时而动，不可轻举。”
耶律大石这番话言简意赅，内涵丰富，既严厉批评了天祚帝过去一味逃跑的错误路线，又对天祚帝现在冒险出战的计划做出了否定，同时也提出了正确的战略方针即“养兵待时而动。”
可是，天祚帝“斥而不从”，一意孤行。耶律大石于是决定出走，独立开辟新天地。一天夜里，耶律大石杀死负责监视他的北枢密使萧乙薛与坡里括，率亲信部属铁骑二百连夜出营，踏上了漫漫西行之路。
耶律大石走后，天祚帝并没立即下山，他对驻守云中的金军元帅宗翰有些打怵，迟迟不敢出兵。直到宣和六年冬天，天祚帝听说宗翰回上京去了，云中由希尹代理元帅之职，他以为时机已成熟，遂率契丹与鞑靼军共五万人马出夹山，下渔阳岭，接连攻下天德军、东胜、云内、宁边等州，大军如入无人之境。
天祚帝这次出山南下，其真正目的并不是收复燕云失地，而是想趁机去投靠宋朝。他不仅带走了夹山的全部军马，而且还“并携其后妃、二子秦王赵王及宗属”。此外，他还携带着各种珍玩珠玉金银器皿等宝物五百多袋。很显然，这是天祚帝有计划的一次大搬家行动。
对于隐藏在夹山深处的天祚帝，宋朝一直在密切关注着。“童贯日夜为上谋，谓天祚在，必为后患。”童贯分析认为，“天祚心素侈，多慕中国”，现今他流离失所狼狈不堪，如果前去招纳，他一定愿意“来归”。如果天祚帝能来归，那么燕山地区自然就会稳定，因为这样便可“以绝其国人之望”。于是，宋徽宗决定暗中操作一下，让童