许久之后，岳飞才抬起头来，看看众人似有丧气之意，便笑着说道：“如此甚好，所谓大浪淘沙，去伪存真，这次看似秦桧将我岳家军上下清洗一遍，使我等将士离心，分崩离析，但若是换个思路来想，这也未尝不是我想要的结局。我岳家军经历多番大战，俘敌无数，除了背嵬军外，大多军士原本都是俘虏，虽然陈淬将军训练有方，看似势大，但却与我心中的精锐相去甚远。至于其他将官，大多是惧我威势，故而托庇于岳家军中，离军自寻出路者不必多说，似那些投身于贼者，若非这一番事，又如何能冒出头来？所幸此时以身许贼，否则他年我成大事时，这些若是背后给我一刀，岂不更是令人痛楚？如今虽然只得数千人马，但来者皆是忠心耿耿之人，正当大用。”
一旁的柴桂听后赞道：“岳贤弟胸怀，为兄实不能及，这般结果，被你一说，却好似秦桧等贼乃是为你去除军中毒瘤一般。”
岳飞笑道：“所谓不破不立，岳家军上下正像如今的朝廷一般，虽然表面无事，但暗中却是存有隐患，若是不能痛下决心，只怕最终难成大事。虽说如姚政、董先等人随我多年，此番投贼，确实令小弟心痛，但这些人并非不可取代，至少各军正统领未有一人投贼，这却是令小弟十分欣慰。况且事已至此，徒自惋惜亦是无用，反不如好生蛰伏于此，再图大计。”
柴桂闻言点点头道：“以贤弟之才，如今乃是潜龙入渊，待得天变之时，必是势不可当。”
岳飞摇摇头笑道：“兄长过誉了。”随后又对高宠与何元庆说道：“你二人先去清溪山扎寨，等施全率领工匠到后我便让宗本前去好生安顿，我暂且不便出面，便在城中等待消息。”二人领命出城，往山上驻扎不提。
十数日后，施全率领工匠与踏白军也来到南宁州，上了青溪山安顿，张宪受岳飞将令，上山统御大军，施全与武琛则入城与岳飞相见。
施全将何元庆所言之事又细说一番，更将朝中变化也说与岳飞听，岳飞听后亦是不住叹息，只是派施全继续与各处踏白军斥候联络消息，并于青溪山上组织工匠开工。
而此时朝廷之中的变化更是令人瞠目结舌，原来在岳飞离去不久后，高宗皇帝以赏柘皋大捷为由，升张俊和韩世忠为枢密使，实则是要剥夺二人军权。
张俊深明高宗皇帝之意，不惜委身于秦桧，自请纳宣抚司兵权，使得高宗皇帝龙颜大悦，对其更为亲近。
此时岳飞已去，秦桧的眼中钉便只留下韩世忠一人，于是在其主张下，朝廷命张俊前往淮南东路措置战守。虽然诏谕中写道“方国步之多艰，念寇雠之尚肆”，“当今行阵之习有素，战守之策无遗，伐彼奸谋，成兹善计”，但实际上张俊此行，却是带着秦桧的重大任务而来。
原来在张俊离开临安时，秦桧便曾与其暗中会面，授意张俊去往楚州后一要罗织韩世忠的罪状，构陷冤狱，二要打散韩家军，命其将驻地由楚州，撤往镇江。张俊此时专一谄媚，知道秦桧如今乃是天子宠臣，自然无不应允。
之所以秦桧对韩世忠如此憎恶，实是因为其与岳飞一样，一力主张与金国大战，并且在上一次和议之时，韩世忠更是命部属假扮贼军，企图袭杀金使张通古，破坏和议。此事虽因其麾下告密而未能成功，却着实使秦桧吓出一身冷汗。要知道当时秦桧乃是完颜挞懒布在大宋的一条暗线，此时完颜挞懒正当权，极力主张和议，秦桧则从中推波助澜，一旦韩世忠袭杀金使之事成为事实，那无疑是对和议一事极大的破坏，到时只怕完颜挞懒怪罪下来，秦桧亦不好受。因此，秦桧对于韩世忠的憎恶，更不在岳飞之下。
而除了张俊一路外，秦桧趁着韩世忠在临安供职之时，早已使人在韩世忠军中物色到一条走狗，此人便是淮东总领胡纺。
胡纺此人极善钻营投机，当年在韩世忠麾下时便为其鞍前马后走动，极得韩世忠喜欢。除此之外，胡纺在未得势前，除了以家奴的姿态对待韩世忠外，就连其亲信耿著等人都一并奉承。因此短短数年间，便在众将推举下步步高升。
胡纺其人内心极为阴狠，虽然表面上对韩世忠毕恭毕敬，但实际上却是暗藏鬼胎。当年韩世忠暗中计划袭杀金使一事，便是由其暗中告密，以致事败。
而此时韩世忠兵权已去，胡纺自然不肯随着这艘大船沉没，很快他便走门路攀上了秦桧，二人一拍即合，定下了陷害韩世忠的诡计。
因此张俊一到楚州，胡纺便出首控告耿著，说其自临安回到楚州后，便大肆散布流言，同时鼓惑众听，阴图叛逆，并谋还世忠掌兵柄。
张俊不敢怠慢，于是上奏朝廷，秦桧欣喜万分，立即下令将耿著拿往临安，并以酷刑逼供，企图由此牵连韩世忠。
这个消息被踏白军安插在临安的斥候探知，暗中传讯于韩世忠。韩世忠闻讯大为吃惊，连夜面见高宗皇帝。入宫之后，韩世忠泪流满面，投地自明，令高宗皇帝大为不忍。
原本高宗皇帝便念着这位苗刘兵变时的救驾功臣，虽然不喜其阻拦和议，但却也无意于杀害韩世忠。于是一番好言安抚过后，将韩世忠劝退，随后高宗皇帝便召见秦桧，明确耿著一案不得株连韩世忠。
既然皇帝力保，秦桧自然也是无话可说，只能将陷害韩世忠一事暂且按下，只是将耿著杖脊五十，刺配三千里外，随后匆匆了结此案。而韩世忠为了自保，也向朝廷进献了军储钱一百万贯、米九十万石及酒库十五座。
经过此事后，韩世忠终于明白当日岳飞所言，对朝廷彻底绝望，眼见大好的抗金形势白白葬送，立身朝中却又被奸人所忌，而更无奈的是自己如今并无兵权在手，只能任人鱼肉，于是心灰意冷。
数月之后，韩世忠接连上奏请辞枢密使之职，并奏请告老。高宗皇帝自然乐于顺水推舟，于是准其奏，以太傅、醴泉观使、奉朝请、福国公之官爵致仕，仍兼横海、武宁、安化三镇节度使。
罢兵一事，影响甚大，就连重新起用的刘光世亦未能幸免，被高宗皇帝罢为太保、万寿观使，充任闲职。
至此，朝中各大战区基本土崩瓦解，最早建节的五人，吴玠已死，刘光世、韩世忠被罢，张俊依附于秦桧，而岳飞则潜于滇南。整个大宋，再无能与金军相争的大将，彻底为宋金和议铺平了道路。