在战前动员会议上，解潜郑重告诫诸将道：“大战在即，祸福握于自己之手。迎敌者赏及子孙，退走者诛及妻子。如立奇功，定有高爵。”解潜希望以此鼓舞士气，严明军纪。
然而，对于这些赏罚政策，三军将官们根本就听不进去，他们都在下边小声议论道：“过去，童宣抚也曾有此言。可实际上怎么样呢？明明是战死者，往往被上报说成是逃跑；而对于奔溃者，则立赏招安。今日之令，也恐怕是空话罢了。”不久，战斗打响了。
金军在南线指挥作战的将领叫完颜拔离速，是银术可的弟弟。前不久，姚古也是被他所败。刚开始，拔离速用于冲锋的金人并不很多，似乎带有试探性。但宋军对金兵很惧怕，交战不久，老毛病又犯了，前军有些官兵就不顾军令开始溃退。后军见状，人心也开始浮动。堡垒中的官兵为求自脱，纷纷抓着绳子往沟壑底处逃窜。结果混乱中坠落而死者重叠累积，几乎填满沟壑，约有几千人。
拔离速见宋军已乱，于是果断下令鸣鼓大进。金军抓住时机，将预备队也投入战斗，他们越战越勇。而宋军越来越抵挡不住，最后全线崩溃，溃不成军。连解潜所在的中军也四处溃散，他身边仅剩下数十骑亲兵，保护着他从山间小道，一路逃奔隆德府。从此，解潜所部战斗力基本丧失。
拔离速指挥金军乘胜前进，很快便兵临威胜军城下，知威胜军张尧佐不战而降。
解潜所部是正面救援太原的主力军。主力军溃败所造成的影响往往是很大的。当时，威胜军、隆德府以及汾州、晋州、泽州、绛州等地百姓闻听官军败北，纷纷扶老携幼渡过黄河，往南而奔。太原以南、黄河以北地区，州县几乎皆空。
这时，李纲仍在怀州。眼见形势在不断恶化，他很焦虑，可又无能为力。因为他无法有效行使宣抚使指挥权，无法掌控全局，他所能做的就是上奏朝廷，将自己的建议反映上去。他一方面指出节制不专之弊，另一方面，他也看出了军事部署上的缺陷。分路进兵，因各路之间缺乏协同，实际上变成了孤军深入，很容易被金人集中兵力各个击破。李纲建议立即调整军事部署，将兵马集中起来，从一个方向展开进攻。恰好这时候范世雄率领着湖南兵到达怀州，李纲推荐范世雄担任宣抚判官。李纲表示，若朝廷采纳其建议，等到大军集结完毕，他愿亲自领军开赴前线，与金人决一死战。
然而，前方战事很激烈，后方朝廷高层斗争更激烈，朝廷政局忽然发生大变。八月三日，太宰徐处仁和少宰吴敏两位宰相，被宋钦宗一并罢免。唐恪升为少宰、何栗任中书侍郎、陈过庭任尚书右丞、聂山同知枢密院事。李纲的好友许翰，被免去同知枢密院职务。
政局的突然巨变，让李纲大吃一惊。特别是将唐恪晋升为少宰，更让李纲不可思议。李纲领兵离开京城时曾特意对宋钦宗说过，唐恪是小人，不可重用。当时宋钦宗满口答应，可现在为什么又变卦了呢？李纲很不理解，很失望，心情忽然消沉起