七月下旬，蒋介石派刘斐促请白崇禧入京。七月三十日，刘斐船过九江，到庐山训练团晤陈诚，并得与在团受训的黄旭初、夏威会面。黄、夏联名写信给白崇禧，谓陈辞修教育长寄语，促健公入京，果能早日命驾，则将有助于抗战大计的制定。八月二日，蒋介石亲电白崇禧，邀他入京就副总参谋长。三日，白氏电复蒋介石，允即入京。蒋介石于即日派了一架水陆两用机由德籍机师驾驶到桂林候接。八月四日下午一时，白崇禧乘该机飞南京，同行的有潘宜之、刘斐、黄季陆等人。下午三时抵达，张群、何应钦、程潜、朱培德、张治中等人到场接机，当晚蒋介石在官邸设宴招待白氏。
白崇禧此次入京，促成了大团结的形势，冯玉祥、阎锡山、刘湘、龙云以及领导人周恩来、朱德、叶剑英等都先后到达南京，显示出精诚团结，一致御侮。
八月十二日，南京召开最高国防会议及党政联席会议，商决抗战大计，并决定推蒋介石为陆海空军大元帅，以军事委员会为抗战最高统帅部。军委会扩大编制，以白崇禧为副总参谋长，因总参谋长程潜赴平汉线任第一战区司令长官。白崇禧遂代行总参谋长职务。另设第一至第六部，分掌军令、军政、经济、政略、宣传、组训事宜。
当时白崇禧曾建议设置大本营，以示全民团结抗战的最大决心。蒋介石不赞成，他说：“中日未经宣战，即以军委会主持战事可也。”
蒋介石为给予白崇禧顺利行使幕僚长权力的便利，调黄绍竑为第一部长，主持军令工作。当时军委会以山西情势危急，遂派黄绍竑前往山西视察，并协助第二战区司令长官阎锡山指挥作战。黄绍竑在协调晋军和八路军作战行动方面起了积极的作用。
实践证明，蒋、白之间经历了这么多年的隔阂和猜疑，此次入京会晤之后，彼此都没有需要任何疏通和解释，便能够在共同对敌的民族大义鼓舞下，开诚相见，并肩战斗。“兄弟阋墙，外御其侮”，原来是中华民族伟大传统精神的体现。在这里更证明了它是一条真理。
八月十三日，日寇以上海公共租界为根据地，于上午九时十五分向江湾及闸北方面进犯，军委会命张治中率军三师奋勇应战，全面抗战于是开始。军委会随即划淞沪为第三战区，以冯玉祥为司令长官，顾祝同为副司令长官。蒋介石惯于直接指挥，白崇禧此时以副总参谋长的地位，只能作为最高统帅的代表，经常到前线巡视，指导作战方略，协调部队。
时军委会划两广为第四战区，以何应钦为司令长官。八月二十八日，白崇禧电李宗仁云：“统帅部决将津浦线划为第五战区，并请我公出任司令长官。过去公首倡焦土抗战主张，国人深表赞同，如能乘此时期，躬行实践，则对中外视听，必有重大影响。敬盼迅赐卓裁电复。”李首先谦逊一番，最后还是答应担任，并令韦云淞的第三十一军和廖磊自兼的第四十八军开动北上，参加抗战。
白崇禧在淞沪前线视察，发现第三战区司令长官冯玉祥白天不在长官部，而住在离上海约一百五十里的宜兴张公洞。他把私章交给顾祝同代拆代行。白崇禧因此向蒋介石建议，在黄河以北的宋哲元、石友三、孙连仲（1893—1990，国民革命军二级陆军上将，著名抗日战争将领。冯玉祥的十三太保之一，抗日战争时期因坚守台儿庄而闻名中外。曾先后任国民政府青海省、甘肃省、河北省主席。）、冯治安（1896—1954，1912年投身于冯玉祥将军麾下。“七七事变”后与日本侵略军展开了英勇不屈的战斗，拉开了中国全面抗日的帷幕。1949年随国民党去台湾。）各部，都是冯玉祥一手训练的部队，如将河北及山东北部划为第六战区，以冯玉祥为司令长官，则在指挥上将可收驾轻就熟之效，蒋介石同意照办。因此自九月十六日起冯玉祥转作第六战区司令长官，由蒋介石自兼第三战区司令长官。后因西北军将领反对冯玉祥前往指挥，蒋介石又请冯氏回来担作军委会副委员长。
在白崇禧视察期间，还发现蒋介石在部队中制造矛盾，陈诚的嫡系部队第十八军，原来由第九集团军总司令张治中指挥，后来蒋介石发表陈诚为第十五集团军总司令，第十八军改由陈诚直接控制，可是蒋介石却没有把这一变更通知张治中。及张治中去看第十八军的兵力部署，该军军长罗卓英（1896—1961，由下级军官升至国民党第18军军长。1935年，晋衔陆军中将。1942年任远征军司令长官，入缅作战。后转往印度，主持兰伽远征军训练。抗战胜利后，曾任广东省主席。后去台湾。）居然这样说：“张总司令竟到我们这里来了？”使张治中感到非常难堪。因愤而辞职。后经白崇禧居中调度，蒋终批准张辞职，改以朱绍良任第九集团军总司令。
有一件事证明白崇禧自外于蒋介石，蒋氏乘专列到苏州指挥，白崇禧偕行。一夜，蒋介石叫他的侍卫长王世才送五万元给白崇禧，白氏拒而不受。自此以后，蒋介石就不给白崇禧送钱了。对将领施恩施惠，原是蒋介石笼络部下的一贯手法，白崇禧这样拒绝他的“恩赐”，对蒋氏颇有“见外”之感。以后蒋、白之间始终抱有一定距离，与此也有多少关系。
白崇禧对淞沪战事，以为上海附近夹在黄浦江和长江中间，港湾纵横，日寇仗着陆海空联合作战的威力，易于发挥优势。我军则因装备较劣，后方交通涩滞，在这里与敌进行阵地战，不见得怎样有利，而以转移到山川险要地区与敌决战为宜。对此，蒋则以为，上海华洋杂处，与欧美各国利益息息相关。在淞沪与敌长期作战，可能引起国际干涉，而对“九国公约”会议的召开寄予厚望。后来事实证明，他的幻想终成泡影。
沪战初期，我实行攻势作战，曾一度进展到汇山码头，八月二十二日晚，敌第三师团、第十一师团及第一〇一师团之一部分于川沙、狮子林、宝山等地同时登陆，向罗店、浏河之线南犯，其主力于二十九日陷罗店，旋吴淞、宝山亦相继不守，我军全线转移到北站、江湾、庙行、双草墩之线，与敌展开激烈的争夺战。
九月中旬，到沪敌军还有第六、第九、第一一六师团各一部，经激战后，我军乃退守蕴藻滨南岸，陈行、广福、浏河之线。十月七日，敌第三、第九两师团由蕴藻滨北岸开始强渡，企图一举突破我阵地，进占大场南翔。
十月中旬，我为恢复蕴藻滨南岸阵地，决定进行反攻，乃以廖磊集团军第七军、第四十八军为第一路军，由黄港北、侯宅、谈家头附攻击蕴藻滨南岸之敌；以叶肇第六十六军为第二路军，由赵家宅向东攻击；以孙元良第八十八师为第三路军，由广福南侧地区攻击前进。十月十九日，攻击开始，适逢敌主力向我进攻，遂演成为大规模的遭遇战，因彼此装备悬殊，我军伤亡甚大，如桂军第七军伤亡过半，死伤旅长庞汉祯、夏国璋、秦霖等六七人，团长廖雄、谢鼎新等十多人。我被迫后退，敌乘势猛攻，大场旋告不守，至是我上海守军侧背，大受威胁，乃于十月二十六日向苏州河南岸转进。
十一月五日，敌第六、第八两师团，由杭州湾北岸全公亭金山卫等处登陆，直逼松江，我吴克仁部因集结未毕，遂被击破。此时我淞沪阵地侧背益感受到严重威胁，军委会乃于十一月九日下令上海全线撤退。总结沪战集结了全国精锐，支持了三个月，虽不能如蒋介石所预期那样，引起国际上的实际支持，但也初步粉碎了日寇速战速决的美梦。