李纲情绪也很激动，他对宋钦宗说道：“天下之理，诚与疑、明与暗而已。诚则明，明则愈诚，自诚与明推之，可以至于尧舜；疑则暗，暗则愈疑，自疑与暗推之，其患至于有不可胜言者。耿南仲当以尧舜之道辅陛下，而其人暗而多疑，所言不足采。”
宋钦宗听后笑了笑，没回应。耿南仲则“艴然怒甚”，拂袖而去。
不久，宋钦宗又在睿思殿召开茶话会。刚喝完茶，耿南仲忽然站起来奏说道：“臣刚才奏对时遇到左司谏陈公辅，公辅乃二月五日联合李纲一起鼓动士民伏阙者，岂可处谏职？乞送御史台根治。”宋钦宗及宰执们闻言皆愕然。
李纲先是一愣，没料到耿南仲这么快就开始报复自己，他启奏道：“臣刚才与南仲辨论于延和殿，实为国事，非有私意。而南仲对臣之言衔恨在心，故有此奏。伏阙之事，陛下素已鉴察，臣不敢复有所辨。但臣以菲才冒处枢辅，仰荷特达之知，未能有所补报，区区素志，欲俟贼骑出疆，道君銮舆还阙，然后求归田里，臣之愿也。今南仲之言若此，臣安敢复留？愿以公辅事送有司，臣得乞身待罪。”
宋钦宗笑了笑道：“伏阙士庶以亿万计，如何结构？朕所闻知，卿不须如此。”
宋钦宗想劝他们和解，可耿南仲揪住不放，意犹未已。李纲于是再拜，起身离开睿思殿，出居启圣院。
启圣院位于皇城西角楼西侧，乃宋太宗降诞之地，是供奉宋太宗的神御殿。李纲让人将办公桌椅从枢密院搬到这里来，他要暂时待在这里。他给宋钦宗呈上一份劄子，请求去职，劄子曰：“臣闻见危致命，臣子之常分；陈力就列，古人之格言。方艰难之时，故当徇国忘躯，而于揣分量才，又有不能则止之义。辄伸愚恳，上渎天听。伏念臣赋性蠢愚，学问荒浅，比由庶僚，荷陛下异恩，擢在政府。自蒙委任，夙夜究心，外捍疆敌，内安众志。上赖宗庙社稷之灵，陛下仁圣所格，丑类退师，京邑安疆。传檄而三镇坚守，奉使而两宫协和，区区之忠，志愿粗毕。
而臣自事变以来，夜以继日，无时暂休，智术殚于思虑，意气索于忧虞，内度绵薄，实难勉强。况今朝登老成，贤智并用，正论得伸于庙堂，德意下洽于海隅。自此天下豪杰忠智之士，当连茹而进，内修政事，外攘夷狄，以副陛下尝胆卧薪之意。顾如臣者，材术既疏，心虑愦耗，深恐有误使令，以速罪戾。伏望圣慈许罢臣枢密院事，特除一在外宫观，任便居住，则仰荷陛下终始保全之恩。捐躯报国，期于异日，干冒天威，取进止奉。”
宋钦宗接到劄子后，提笔批道：“今封还卿奏。岂可如此？托付之意至矣，更勿少疑。不得再有请，虽累百章亦当封还！”
第二天，即三月二十八日，李纲又连上两份劄子，继续恳请去职。他在第二份劄子中说：“今早进对，与大臣议论不合，遂诋臣以士庶伏阙之事，疑臣结构，至欲御史根治。伏念臣备位枢管，横遭诬蔑，有玷国体，宁不动心？”
宋钦宗在劄子上批道：“依已降旨不许，搬出启圣院，依旧赴院供职