抗日战争爆发后，聂荣臻先后任八路军第115师副师长、政治委员，在忻口会战中，与林彪共同指挥所部进行了平型关战斗，歼灭日军坂垣师团一部1000余人，缴获步枪1000余支，机枪20余挺，击毁汽车100多辆，马车200余辆，取得全国抗战以来第一个大胜利，打破了日军“不可战胜”的神话，为中国共产党和八路军赢得了国际舆论的称赞和好评。
日军占领太原后，战局发生极大变化。为避免第115师等部及八路军总部被敌隔断，1937年11月，聂荣臻受八路军总部之命任晋察冀军区司令员兼政治委员，率3000人的武装，在五台山区创建敌后第一个抗日根据地。他充分发动人民群众，扩大武装力量，加强党和政权的建设，先后开辟了冀中、冀东、平西、平北等根据地，到1939年，晋察冀根据地发展到拥有七十二个县、1200多万人口、主力部队近10万人的模范根据地。毛泽东赞誉说：“五台山，前有鲁智深，今有聂荣臻，聂荣臻就是新的鲁智深。”并号召八路军向晋察冀根据地学习。
1939年秋，日军兵分十二路向晋察冀边区进行冬季“扫荡”。聂荣臻周密部署，采取灵活多变的游击战术，指挥八路军在雁宿崖同日军进行激战，歼敌第2混成旅团1500余人，并在黄土岭战斗中与杨成武指挥部队击毙日“名将之花”阿部规秀中将。阿部规秀是中国抗日战争中被消灭的职务最高的日军指挥官，此举震惊了日军，也震动了全中国。毛泽东致电聂荣臻，要他嘉奖有功人员。中共中央、八路军总部和全国各地的友军、抗日团体、著名人士纷纷拍来贺电，祝贺黄土岭围攻战的胜利。全国各地的报纸也纷纷报道黄土岭战斗经过，刊登各种祝捷诗文。全国抗战热情更加高涨。
1940年春，聂荣臻率晋察冀南下支队到晋东南参加反击国民党顽固派朱怀冰部的作战，并在同年8月的百团大战中，组织指挥部队在正太、津浦、平汉、北宁线等铁路线进行破击战，使日军的交通枢纽陷于瘫痪。
1941年秋，日军调动其华北占领军的一半兵力，对晋察冀机关所在地发动了空前规模的大“扫荡”。聂荣臻指挥主力相机转至外线打击敌人，进行钳制作战，并率领党政机关在有限兵力掩护下，灵活机动地周旋于深山峡谷之中，巧妙地从敌人薄弱点安全转移，粉碎了敌人的阴谋。1942年，在斗争极其残酷、根据地日益缩小的情况下，聂荣臻适时提出“向敌后之敌后挺进”，组建多支武装工作队，深入敌后袭击敌人，夺取日伪军力量薄弱的据点，扩大游击区。至1943年，晋察冀根据地军民逐步挫败了日伪军频繁的“扫荡”、“蚕食”、“清剿”，扭转了困难局面，保卫了晋察冀抗日根据地。
1943年1月15日，聂荣臻出席了在阜平温塘召开的边区首界参议会。他和宋劭文等一起接见了边区代表，并向代表们汇报了晋察冀情况。边区首界参议会，是晋察冀边区史上民主建政的重要的里程碑，标志着边区的民主建设越来越完备。1943年8月，聂荣臻奉命赴延安参加整风运动和出席党的“七大”。他向毛泽东等中央领导人初步汇报了在晋察冀六年的各方面工作，听取中央领导人的有关指示，经历了会议中和会议前后党内广泛开展的批评和自我批评，受到了深刻的教育。1945年8月8日，苏联对日宣战，10日，聂荣臻与萧克、刘澜涛致电晋察冀分局，命令全区部队立即向平津等大城市进军，接受日伪军投降，如遇抵抗，应进攻歼敌。并命令冀热辽军区抽调几个主力团由李运昌率领向辽宁进军，尽早与苏联红军会师。8月15日，日本法西斯政府宣布无条件投降。中国人民抗日民族解放战争至此获得了最后胜利。
