卫立煌深深呼出一口气，他深怕老头子脑袋一发热，让部队坚守中条山。那就真麻烦了。现在知道撤退消息的只有卫立煌和范汉杰，卫立煌严令保密。
中条山国军在东西第二道防线又坚持了三天，部队退到第三道防线。有部分外围防守黄河渡口的部队在掩护友军撤退后，日军占领渡口之前，得到卫立煌的允许后渡过了黄河。
如今东线第9军已撤到了封门口阻击日军，第9军有一部通过狂口、官阳渡江撤过了南岸。
东北方向98军、15军撤退到了横河一线，阻击日军。
中路27军，17军还在坚守防线，未退后一步，二线43军不断抽调部队支援27军、17军。
西线唐淮原第3军一部退到了17军西边不远的圪马沟，支持17军中路防线，第五集团军司令部也在其中。80军与第14军一起到了五福涧。第14军撤退到臬落以西15公里左右小庄村附近。
随着中条山防线的收缩，各部之间距离缩短，国军兵力厚度增加，日军的攻击难度也在增加。日军的伤亡人数在急速增加，由于进入山区，补给难度也在增加，日军攻势渐缓。其实到了这一步，只要国军不崩溃，顺利撤退，国军就不算失败。
卫立煌制定详细撤退计划，送交常中凯批准。在得到常中凯的批准后，撤退计划正式实施。首先是第3军接手了43军在皋落以南阵地，80军退往垣曲，在垣曲外围及黄河各渡口预设阵地布防。43军秘密南渡黄河。
98军、15军撤到邵源以西地区布防。掩护即将撤退的第9军。 刘茂恩14集团军总部撤退垣曲与曾万钟第五集团军总部南渡黄河，刘恩茂，曾万钟留在了垣曲。17军，27军趁一雨夜撤退到垣曲接替80军防线，80军南渡黄河。
第二天中路日军发动进攻，发现17军、27军已撤离，日军南下追击在皋落以南遭到第3军阻击。日军一时也拿第3军没有办法。
东线第9军在封门口抵抗了日军多日，伤亡也很大。在得知15军，98军在邵原以西设立防线，掩护他们撤退后，第9军在封门口留下部分部队阻击，主力迅速撤离到垣曲东既设阵地布防，15军，98军抵挡了日军一天后，退到第9军身后的垣曲开始渡河南下。
至此，中条山各主力部队都退到了垣曲周边，第14军在左侧，第9军在右侧，第3军在北面，垣曲有17军、27军。日军发现了国军正在收缩防线。重兵压了过来。
垣曲周边渡口日夜不停的运送部队渡河南下，洛阳收集了能搜集到的所有船只，包括羊皮筏子。好在新乡、运城机场没有修复日军飞机没办法过来，运输工作比较顺利。
日军在垣曲外围发动了猛烈的进攻，但都未突破防线。二日后，14军一部从五福涧渡河南辙，一部撤到垣曲，从恒曲南渡。恒曲最后一道防线西侧17军与日军交上火，第9军也撤到了恒曲，恒曲防线右侧27军与日军交上了火，第3军也从皋落撤到了垣曲，大撤退迅速展开。
卫立煌在垣曲召开了撤退会议，范汉杰，陈铁，唐淮原，裴昌会，高桂滋都到会了。会议的中心议题只有一个，卫立煌提出哪个军担任最后的掩护任务。这是个要命的任务，会议陷入了沉默，卫立煌看向在座每一个人。第3军军长唐淮原站了起来，表示最后的掩护任务就交给第3军吧。
众人都很感激，卫立煌要唐军长和他们一起渡过黄河，唐淮原拒绝了，称撤退很容易造成军心不稳，他要留在这边。最后众人向他敬了一个庄重的军礼。打仗就意味着牺牲，这是没有办法的事。
21号 最后的撤离开始了，国军继续收缩防线，鬼子逼了上来。第3军顶了上去，掩护其他部队南撤，第3军将士们看到军长与他们同在，都抱着必死的信念，与日军展开了厮杀，在垣曲坚持了两天，流尽最后一滴血。第3军军长唐淮源，十二师师长寸性奇壮烈殉国，第3军除了少数部队在最后时刻渡河南下，其余都牺牲在战场上。
由于第3军的拼死抵抗，掩护了各军的撤离，14军，17军、27军、9军顺利撤到黄河以南。中条山战役正式结束，日军全面占领了中条山。
中条山战役历时14天，中日两国均宣称取得了胜利，日军称皇军占领了中条山，切除了这段华北的盲肠。国军伤亡10万余人，皇军伤亡5000余人，这是一场大胜。国府则称虽然国军放弃中条山，但我军击毙了日军4万余人，自身伤亡5万余人。如果能有这样战果，中国还有无数的中条山可以交换。
实际交战中，国军伤亡6.8万余人，日军伤亡3.2万余人。战损比接近2：1，在国府看来，这样的战损比，完全可以看成是一场大胜利，唯一可惜的是丢失华北最后一块桥头堡。日军虽然占领中条山，但战役的进程完全脱离了日军的设想，前期在部署的暗雷部队损失太大。从各地调来的日军始终要归建。日军在此次战役损失的3.2万人中就有华北派遣军损失了2.7万人，相当于损失了两个丙种师团。华北派遣军的机动力量损失了一大块。
李振华在蒙山看到了中条山战报，心想中条山战役再也不是常申凯口中的抗战史上最大的耻辱了。虽然也损失了6.5万人，丢失了中条山，但却拼掉了3.2万日军。日军机动兵力的减少，对于我军来说有重大意义，华北八路军的压力会小很多。
卫立煌致电八路军，感谢八路军的支持，赠送了八路军一批武器弹药。特意注明感谢李振华的情报。
卫立煌成为了抗战英雄，常申凯一时也不好拿掉他的河南省主席的职务。但李振华相信这只不过是权宜之计，该来的始终还是会到来，只不过是时间早晚的问题。国军中的派系矛盾神仙下凡也没办法。