二十军在第二次长沙会战后即担任新墙河防守任务，但二十军只两个师、六个团，兵力不敷分配，于是长官部拨暂编第五十四师孔荷宠部归二十军节制指挥，加强防守力量。但孔师系游击队编成，不惟武器陈旧，兵员不足，而且纪律松弛，其士兵多系平江人，平时携枪回家，关饷时才回到部队，关饷后又离开军营了。孔荷宠本人在该师长沙办事处打牌吃喝经常不在部队。因之，军长杨汉域电请长官部将孔师调走，另派得力部队接替。薛岳乃将五十四师调长沙附近整顿，并将孔荷宠撤职查办。而以新二十师(师长李子亮、副师长李以勋广东人)列入二十军建制，归杨汉域指挥调遣。
第三次长沙会战后，薛岳又背着杨森向蒋介石电报副军长兼一三三师长夏炯升任二十军军长，原军长杨汉域调升王陵基三十集团军副总司令。事后被杨森得悉。于是急电驻渝办事处长李定宇到军政部查询，果然委状刚办好尚未发出。当商请何应钦将委状搁置不予发表。杨森至此以夏薛勾结太深，已两次谋夺军职，“庆父不除，鲁难未己”。因此夏炯派工兵连长左崇高将泊罗江粤汉铁路桥梁撤除，售与桂林厂商，破坏铁路基础为由，电请蒋介石撤职。蒋当照准。这当然对薛岳也是个严重的打击，而薛杨间的仇恨亦更深了;夏炯撤职后，一三三师师长由副师长周翰熙升充，副师长遗缺，以三九七团团长陈亲民升充。陈亲民遗缺，以三九八团第一营长彭泽生升充。三九八团团长徐昭鉴调军部辎重兵团团长，遗缺以肖传伦升充。师搜索连连长由副营长杨曦臣调任。
一九四四年春，军委会为充实前线兵力，凡三个师的军须抽调一个师到后方接收新兵。后调师只留干部和少数士兵去后方，而将其兵员补充前线两个师。杨森为了团结新二十师，将久经战斗锻炼的一三四师缩编为两个团。以四百团(团长向文彬)编入新二十师为五十八团。原五十八团除留足接兵官外，其余士兵补充五十九团及六十团。四○一团(团长赵举)由军部直接指挥。一三四师师长刘席函率师直属及四○二团=五十八团留下官兵回川接兵。旋因战事爆发，刘席函随军行动，五十八团随新二十师行动。故作战时二十军仅有新二十师、一三三师共七个步兵团和一个辎重兵团了。
二十军整编后，立即调整防御部署。以一三三师三九八团担任大云山、草鞋岑至新墙镇(不含)守备任务;另派三九九团第二营配无线电台和谍报员在临湘县敌后游击。师部和其余部队驻关王桥、王复泰地区整训。新二十师五十九、六十两团守备自新墙镇(含)起，沿新墙河南岸经荣家湾至鹿角防线，与日寇隔河对峙。师部驻洪源洞，五十八团驻关王桥西北地区为预备队。军部及直属队仍驻水口桥。
一九四四年五月中旬，在临湘敌后游击的三九九团第二营电称：日本侵略军在蒲圻至岳阳沿线集结兵力和赶运作战物资，洞庭湖中运输频繁，有进犯长沙摸样。当经层转战区长官部。适杨汉域因公到长沙，又向薛岳面报。薛岳答：“现在是雨季，湖南地形不利于敌机械化部队作战，其次是日寇在中国和太平洋地区兵力分散，海空军力量落弱，无力南侵”。这一错误看法，以致未及时通令各军积极备战。
同时，三十集团军根据三十四师一○一团团长骆湘蒲派到武汉的情报员与伪武昌市长刘立潘(刘与骆系日本士官学校先后同学，原任三十集团军总部少校参谋，旋请假回武昌探亲，武汉沦陷后任武昌市长)联系带回的情报，日寇在武汉大量征集民夫，有大举蠢动之势。刘与日寇幕僚接触中，得悉日寇鉴于一、二、三次长沙会战只从正面进攻收效不大。今后将以有利纵队从湘赣边区插入，指向株州以南，围歼我军于长沙地区。王陵基虽据此转报长官部，司令长官薛岳仍未予重视。但日寇这次进攻及其路线，确与杨、王两部搜集的情报吻合，而薛岳的主观判断则是错误的。
一九四四年，德意法西斯在欧洲已彻底失败。而日本海军在珊瑚岛海战中又遭到英美海军的歼灭性打击。空军亦损失惨重，已失去了制海权。其在印度支那与缅甸的占领军，在不得己时，只有通过中国大陆才能撤回到日本领域。因之，日寇于一九四四年五月大举南下，发动桂、柳、长衡战役，企图占领衡阳，打通湘桂铁路，经桂林、柳州直达广西镇南关，与印度支那取得联系为目标。在这次战役中，蒋介石与薛岳在战略上存在着极大的分歧。蒋要薛岳到湘江以西，固守湘桂路与湘西，不让日寇动摇西南大后方。而薛岳坚决不到湘江以西，主张固守湘东南，不让敌人打通粤汉铁路与香港取得联系，并使湘、粤、赣、闽间五岑山脉广大地区免被共产党“窜扰”。故他一开始就只留第四军守长沙，第十军守衡阳，而把长官部移驻湘东南位于湘赣边境上的桂东，并将各部陆续向该地区集结，以增强自卫力量。
