宣和六年十一月末，开封朝廷内外纷扰，尽管岳飞成功剿灭了匪首张迪，但太行山谷的十几万百姓和绿林好汉的家眷已经在高托山、杨天王等人的组织下，顺利逃离，渡黄河、经沧州出海，最终前往北海道。这一行动不仅避开了宋朝的打击，还为方梦华势力增加了大量人口，成为朝中各派争论的焦点。
平定军知军季霆，作为岳飞的前任上司，对这场事件有着清晰的判断。辽州知府左惠的调兵失当，直接导致「龆龀不留」计划的失败。季霆心知肚明，事关大局，岂可轻纵？回到平定军后，他立即提笔上书，言辞激烈，直指问题的根源：「辽州知府左惠急于自保，在关键时刻擅自召回岳飞，导致剿灭绿林山贼的计划功亏一篑。若非左惠擅自行动，岳飞本可按照既定方略将太行山贼匪一网打尽，完成「龆龀不留」的任务。更甚者，左惠与摇头山匪首私通，利用其亲戚关系，黑白两道勾结，才使辽州百姓深陷苦海，走投无路。」
季霆话锋一转，又为岳飞鸣不平：「岳飞素以清廉自律，在平定军任指挥使时期曾拒绝监军宦官马宝的索贿，导致被恶人先告，屈于人前。他虽带着三千厢军孤军深入匪穴，却仍斩首匪首张迪，功不可没，怎可因局部失利而治罪于他？」
这一奏疏犹如一颗重磅炸弹，瞬间激起了朝堂内外的震动。岳飞本是大宋中流砥柱，剿灭山贼之事举世瞩目，但因计划未尽全功，各派意见纷至沓来。
与此同时，卫州观察使吴奇也向朝廷呈交了调查结果。他指出，最近卫州境内黄河船只集结，商贾花费重金雇佣大批船夫，运送大量流动人口。这些人乘船顺流而下，最终消失在茫茫大海。吴奇随后派遣探子调查，得知张迪原驻守的各个山寨和谷内村庄早已人去寨空。吴奇的报告进一步证明了绿林百姓的集体撤离，这次行动显然已经彻底脱离了宋朝的掌控。
「那些村寨，曾是山贼的巢穴，如今已人去寨空，虽然匪首张迪已除，但太行山谷的刁民与贼匪已逃亡海上。岳飞未能完成清野之策。」
这份报告证实了季霆的说法——虽剿灭了张迪，但那些太行山谷的百姓和家眷已然撤出大宋疆土。这一信息，像针刺入了赵佶心中，使得朝中一些暗怀敌意的势力迅速找到了发难的理由。
吴奇的报告为那些心怀嫉妒的禁军武将们提供了弹劾的口实。
禁军中的武将辛兴宗和刘光世，早已对区区厢军都监岳飞日益上升的声望怀有不满。他们趁机上书弹劾，指责岳飞「辜负圣恩」，未能彻底执行剿匪任务，应该治罪。他们在奏疏中强调：「岳飞剿匪虽有功劳，但最终未能斩草除根，使得大批贼匪逃亡海外，如此放纵贼民，实为失职，辜负圣恩，贼匪出境，已成大患。如此庸将，理应治罪，以正军纪。」
辛、刘二人认为岳飞的成功威胁到了他们在禁军中的地位，因此趁此机会欲将他击垮。
但老将种师道此时站了出来，为岳飞辩护：「岳后生带三千厢军，深入匪穴，能够取得此等战果，实属不易。若换作老朽年轻时，带三千种家军，也未必能做到这般。」
他回身盯着辛兴宗冷笑：「若辛统制不服，可自带三千胜捷军，去试试是否能全歼这几十万绿林山贼！」
种师道话音一落，辛兴宗的脸色顿时变得难看，却不敢言语。
李纲与徐处仁也加入了反击的阵营。他们认为，岳飞带领的不过是一支地方厢军，与正规禁军不可同日而语。「派区区几千厢军去应对几十万山贼，仍期望一战全歼，这根本是强人所难。」徐处仁直言道。
但就在朝中争论不休之际，权臣王黼与蔡攸则持着更为现实的观点。蔡攸轻描淡写道：「虽然那十几万刁民未能伏诛，但他们已然逃离大宋国土，不再对河东地区构成威胁。反而，他们前往东海岛屿投奔方逆，意味着那个海盗势力将承受巨大的负担。」
王黼也同意这一看法，轻描淡写道：「没错，方逆虽收纳了这批人，但东海贫瘠之地，物资匮乏，难以长期供养如此众多的百姓。若她无法解决这些人的生计问题，反而会自乱阵脚。我们不妨坐山观虎斗，看她如何自食其果。」
在权臣们看来，太行山的刁民离开中土，非但没有给朝廷带来麻烦，反而将方梦华逼入困境。因此，弹劾岳飞的行为没有必要继续推进。
面对众多意见，皇帝赵佶权衡再三，最终做出了他的决策。他并没有惩治岳飞，反而肯定了岳飞的功绩。赵佶认为，岳飞剿灭匪首张迪已是功勋，虽未能彻底解决问题，但大局已定，河东贼患不再是宋朝的隐忧。