8月3日以后，日軍因進攻屢屢受挫，后勤補給也日漸艱難，橫山勇不得不下令由全面進攻改為重點進攻。可是這些日子以來，日軍的傷亡已經達到了16000人以上，其第68、第116師團早已是傷亡過半。而守城的中國軍隊也有1萬多人，傷亡比率是1：1.6。橫山勇花費如此重大的代價，除了占據了部分守軍陣地外，其他方面無一所獲，惟獨讓橫山勇高興的地方就是，中國軍隊的援兵始終沒有動靜，不知道是什么原因導致了中國軍隊的援兵遲遲沒有到位。
日軍由全面進攻改為重點進攻后，衡陽城內的第10軍也獲得了喘息的機會。于是，方先覺也暫時穩定住了防線。幾經激戰，第10軍的彈藥、給養等已經耗盡，知道8月8日中午，中國空軍才飛臨衡陽上空進行空投補給。由于日軍戰機的干擾，這次空投補給進行得很匆忙，彈藥、給養只獲得了少量的補充。
橫山勇本以為衡陽指日可下，沒想到第10軍居然是如此的頑強，對衡陽防御陣地進行了多次猛攻以后，不但沒有拿下衡陽，反而還落得個傷亡慘重。改為重點進攻后，橫山勇邊集中兵力進行重點打擊衡陽防線的幾處重要的支撐點，邊向岡村寧次發電報，請求岡村寧次盡快的給他提供補充兵員，補充彈藥、給養等物資，等兵員和物資齊備后，就發動對衡陽的第二次全面進攻。
岡村寧次在有限的兵力中，為橫山勇補充了兵員，彈藥、給養等物資也陸續的運了過來。于是，橫山勇在8月11日，再次發動了全面進攻。進攻伊始，日軍的飛機就開始了猛烈的轟炸。戰至中午時分，日軍的重炮部隊又開始了猛烈的炮擊，直到下午2點的時候，日軍步兵才漫山遍野的殺了過來。當天夜里，400多鬼子偷偷的摸進了江西會館和衡陽火車站間的陣地內，然后分別朝江西會館和衡陽火車站方向進攻，給中國守軍造成了極大的混亂。
190師569團在得知日軍已滲入防線內以后，就由團長李剛親自帶隊，與滲透進來的鬼子進行了一場激烈的肉搏戰。李剛帶領的敢死隊死戰不退，并用火力截斷了鬼子的后續部隊，用了3個多小時的時間才將滲透進來的鬼子全部殲滅。12日上午，激戰再起。鬼子發動了更加兇猛的進攻，569團的官兵們抱著必死的決心，在團長李剛和副團長李洪峰的指揮下，在幾進幾退的反復爭奪之后，才將鬼子們趕下了陣地。
與190師的戰況比起來，第54師可就不輕松了。鬼子成功的殺入了54師的防線，并占領了54師的核心陣地--鐵路機修廠，鬼子們把機槍架到了屋頂上向四周掃射，極力阻止第54師的反攻。
第54師的損失很大，全師官兵也僅剩下4000余人了，師長周洋為了盡快奪回陣地，親率師警衛營沖了上去。在付出了巨大的傷亡之后，終于重新奪回了鐵路機修廠。但是還沒等周洋喘過氣來的時候，他的副官匆匆跑來告訴他，副師長張昭義帶著357團擅自撤退，從城西的方向逃跑了，看樣子他們是打算逃到湘西的大山里去。周洋知道副師長張昭義本就是土匪出身，那357團都是他的老部下。當年正是由于與其他的匪幫爭霸失利，才下山投奔了國軍。投降后就被編在了自己的警備旅里，直到42年的時候，第10軍組建時便被整編成了第10軍第54師。
副師長張昭義的逃跑，給周洋造成了很大的打擊，他不得不將情況上報到軍部。軍長方先覺一聽到這個消息，頓時就發了火，大罵周洋沒用，并下令撤掉了周洋的師長職務，等戰后再接受處理。但54師的情況已經是萬分危急了，方先覺只好將軍部警衛團交給了軍參謀長王榮波，讓他火速帶警衛團增援第54師，并暫時代理54師師長一職。
王榮波來到了54師師部，見到了已經被撤了職的周洋，王榮波對周洋說道：“我跟軍座求過情了，你暫時留在師里，協助我指揮部隊，也算是給你一個帶罪立功的機會吧。”聽了王榮波的話，周洋感激的說道：“謝謝參座，卑職感激不盡。”王榮波擺了擺手，然后說道：“你不用感激我，你好自為知吧。”周洋有些不甘心的說道：“這個張昭義！我一定饒不了他！”一提起張昭義來，王榮波擔心的說道：“你說他會不會去投奔鬼子啊？”周洋想了一下，然后回答道：“我想那是不會的，如今鬼子已經大不如從前了，現在投奔過去，根本就得不到什么好處的。我想他一定是逃進湘西的山里去了，重新干回了他的老本行。”王榮波嘆了一口氣，接著說道：“算了，咱們不提他了。你去收攏一下部隊，清點一下損失吧。”周洋答應了一聲就走出了師部，王榮波盯著地圖上的敵我態勢，苦苦的思索著接下來的戰局。
由于連日來的苦戰，54師的官兵精疲力竭，在防線上出現了漏洞。8月13日夜，鬼子500多人分成兩個波次偷襲54師的防線。戰至深夜，54師前沿陣地落入敵手，守衛該陣地的358團殘存的2個營600余人發起逆襲，總算是奪回了陣地。14日中午，鬼子再次發動攻擊，陣地第二次陷入敵手，周洋再次親率師警衛營趕去支援，激戰到黃昏時分，才從鬼子手里奪回了陣地。誰知正當官兵們休息的時候，又遭到鬼子的反撲，周洋身先士卒率先撲向了鬼子，在激戰中不幸身中數彈，壯烈殉國。警衛營和358團官兵見師長殉國了，一個個瞪著血紅的眼睛，怒吼著殺入敵群，雙方在血流成河的戰場上展開了激戰。戰斗之慘烈，驚天地泣鬼神，中國軍人再一次用他們的血肉之軀，打退了鬼子們的進攻。
第二天清晨，王榮波來到了前沿陣地上，他看著那些殘破的工事，含著眼淚下令在陣亡將士的尸體上加蓋一層沙土，筑成能阻擋子彈的戰壕。王榮波對此感到很無奈，因為戰事緊迫，根本就沒時間來打掃戰場掩埋尸體，唯一的辦法就是把弟兄們的尸體筑成戰壕，讓活著的弟兄們憑借著這些血肉筑成的戰壕，繼續與鬼子們戰斗下去。
下午2點，鏖戰又起。戰至黃昏時分，前沿陣地再次失守，358團全體官兵無一人后退，全部戰死在了前沿陣地上。王榮波抽調出500多人，組成了敢死隊，連夜向鬼子發動逆襲。雙方針對前沿陣地再次進行反復沖殺，互有進退。直到14日拂曉以后，前沿陣地才失而復得，但是中日兩軍卻都是損失慘重。前沿陣地上早已是血流成河了，堆積起來的尸體足有一米多高。
王榮波手上的兵力已經不多了，已經沒辦法與日軍反復爭奪前沿陣地了。他主動放棄了前沿陣地，將全部兵力收縮進了鐵路機修廠里，憑借那里堅固的廠房繼續與鬼子周旋，同時他也派人回軍部，將54師的戰況報告給了軍長方先覺。
鬼子占領了前沿陣地后，繼續向鐵路機修廠猛攻，同時又兵分一路，向衡陽火車站進攻，因為這兩處陣地是衡陽城南的核心，是守衛衡陽城的兩扇大門，不把這兩扇大門敲開，是無法進入城中的，因此鬼子的攻勢就變得更加兇猛了。
如今54師也只剩下2000余人了，王榮波留下了500人作為預備隊，其他的1500人全部守在了戰略據點上。軍里的預備隊早已用光了，根本就無法給54師派援兵了，他只能依靠現有的2000人來防守鐵路機修廠了。日軍在多次進攻失敗后，就對鐵路機修廠進行了空襲和炮擊，還拼命的向鐵路機修廠內施放毒氣彈。鐵路機修廠內毒霧彌漫，遮天蔽日，守軍的工事早已是破爛不堪，多數官兵被毒氣殺傷，倒在地上痛苦的掙扎著。黃昏之后，鬼子步兵蜂擁而至，一波接著一波。突然間就在那些破敗的工事里，再次的爆發出了激烈的槍聲，將進攻中的鬼子打得人仰馬翻的。酣戰至半夜，敵我雙方在陣地上犬牙交錯，難解難分。鬼子連夜加派兵力，繼續猛攻。王榮波帶領著54師殘部，死守鐵路機修廠廠部大樓，做好了戰斗到最后的準備。