1932年3月1日，國民黨軍第1師第2旅旅長黃杰（湖南長沙人，黃埔軍校一期）升任2師師長。1933年，日軍侵犯熱河，2師奉命北上抗日，參加了著名的長城抗戰，抗擊日軍于古北口的南天門，與進犯日軍激戰5晝夜。一種說法是，5晝夜之內，第2師陣亡軍官38人（陣亡營長2人，連長8人），士兵902人，受傷軍官131人（受傷營長3人，營副一人，連長11人），士兵2033人，合計傷亡3104人，戰至5月撤防，第2師撤往河北懷柔休整。

1937年抗戰全面爆發后，第2師官兵奉命參加徐州會戰等戰役。趙公武（廣東大埔人，黃埔軍校潮州一期步科，中央官校高教四期、陸大將官甲一期）升任第2師師長后，1938年8月，第2師參加武漢會戰，于江西瑞昌東北地區作戰20余日，在瑞武一線激戰49晝夜，成功阻擊日軍久留米師團(即18師團)3萬余人的進犯。

1939年9月第一次長沙會戰打響后，第2師作為15集團軍第52軍主力，據守新墻河陣地。第2師胡春華營自戰斗開始即誓死堅守陣地，與敵相持3晝夜，在戰斗中，除7個負重傷的士兵先后被送出陣地外，其余自營長以下全部與陣地共存亡，無一生還。

9月23日晨，日軍集中80多門火炮向防守新墻河南岸的第2師陣地猛烈炮擊一小時，后日軍第6師團開始強渡新墻河。但遭到2師等部的頑強阻擊，戰至日落時分，日軍雖然多次沖鋒，仍無法突破新墻河一線。特別值得一提的是，第2師一位名叫曹錫的上等兵，在新墻河之南、新墻鎮之西的王街坊阻擊日軍的戰斗中，在戰友全部犧牲的情況下，獨自使用機槍和手榴彈守衛陣地，打退敵人數次進攻。直到營部派了一個傳令兵來命令他“放棄陣地”，才回營部去休息。據統計，他在此次戰斗中共擊斃日軍400余人(另有其他說法)。師長趙公武立刻晉升他為班長，又賞法幣30元。《大公報》《中央日報》報道了他英勇殺敵的事跡，著名作家田漢為曹錫所在的52軍編寫了新歷史劇《新戰長沙》，公演時引起轟動，國內外紛紛予以報道，稱曹錫為“中國兵魁”“最勇敢的抗日軍人”“抗戰中殲敵最多的猛士”。