然而，金人一边谈判一边进军，自八月开始，两路大军迅速南下，毫无止兵之意。唐恪感到情况很不乐观，多次提醒宋钦宗：“金人今冬必来。”
打不过又谈不拢，怎么办？唯一正确的选择，便是三十六计走为上。
唐恪于是密奏宋钦宗，力劝他避敌锋芒，早日离开东京前往洛阳或者长安，召集天下之兵，与金人开战。他说道：“唐自天宝而后，屡失而复兴者，以天子在外，可以号召四方也。”
唐恪甚至考虑到，京师诸军可能皆怀恋故土与亲眷，不一定愿意护卫皇上离京，于是他又建议，速召四道总管领兵护卫而行。宋钦宗一开始觉得唐恪言之有理，接受了他的建议。
不久，领开封府何栗前来奏事。宋钦宗向何栗说起唐恪的建议，何栗一听，坚决反对道：“即使当年周室东迁，也没有唐恪这个建议过分。这就好像不肖之子，要将父祖遗留下来的田宅全都卖掉一样。”
宋钦宗身旁的内侍们也不赞成唐恪的建议，都不愿离开东京。宋钦宗见众人都反对离京，遂“幡然而改”。
十一月二十六日，当唐恪再次催促宋钦宗赶紧离京时，宋钦宗很生气，狠狠地用脚跺着地面说道：“朕当死守社稷！”
这时候，侍御史胡舜陟趁机上奏，弹劾唐恪与聂昌。胡舜陟说唐恪智虑短浅，不能经画边事，“今国势日蹙，诚不可以备位。”又说朝廷若继续留用唐恪与聂昌这二奸，则“所有政事不修，威刑不振，人材无一可用，将士莫肯用命，不足怪也。”
京城军民这时候也普遍认为，唐恪是一个俗吏，昏懦无能，人们都想找机会揍他。
这天晚上，唐恪乘轿外出，被百姓发现。人们皆向他抛砖扔瓦，将他照明的灯笼打破。在卫兵保护下，他骑马才得以逃脱，回家后，当即上书请求辞职。
宋钦宗觉得，唐恪已失人心，不适合继续担任宰相，遂免去少宰职务，让他担任观文殿大学士、中太一宫使兼侍读。
唐恪罢相后，宋钦宗任命何栗为门下侍郞，这个职务此前一直由耿南仲担任。现在，经过宋钦宗重新调整，朝廷执政大臣是：门下侍郞何栗、同知枢密院事孙傅、中书侍郎陈过庭、尚书右丞李回、签书枢密院事曹辅。尚书左丞冯澥，此时与李若水一起被宗翰留在军中。
作为军事主管的孙傅，每日苦思破敌之策。十一月二十七日，他翻开诗卷，试图从中获得灵感。他翻开的这卷诗，是宋仁宗时代丘浚的《观时感事诗》，其中一句“郭京杨适刘无忌，尽在东南卧白云”，引起了他的注意。因为他见过一个叫郭京的人。王宗濋曾向朝廷极力推荐此人，说此人有奇异才能，可生擒金军二帅，能将金兵扫荡无余。但是，此人被唐恪一句话给否定了。现在唐恪已罢相，何栗重回朝廷，何不听一听何栗对此人的看法？
何栗听了孙傅的介绍后，知道郭京所说的那一套，乃奇门遁甲之术。他认为，现在大敌当前，凡是愿意拿起武器与金人战斗者，朝廷都应该积极鼓励与大力支持。于是，何栗、孙傅等执政大臣研究决定，拨给郭京钱绢数万，令他