大革命失敗后，革命處于轉(zhuǎn)折時期，衡陽人民在中共湘南特委的領(lǐng)導(dǎo)下，在敵人的瘋狂屠殺面前，中共湘南特委、衡陽縣委在極端困難的情況下，立即采取應(yīng)變措施，化整為零，分散轉(zhuǎn)移，鞏固和發(fā)展農(nóng)村陣地，同反動派進行不懈的斗爭。隨后，中共衡陽地方組織領(lǐng)導(dǎo)的工農(nóng)游擊武裝斗爭此起彼伏，接連不斷，給反動派以沉重打擊。

其主要武裝斗爭部隊有：

一、衡北游擊師

1927年6月初，回到北鄉(xiāng)妙溪堅持斗爭的縣農(nóng)協(xié)執(zhí)委肖覺先、戴今吾等人，根據(jù)中共湘南特委妙溪緊急會議精神，決定以妙溪為中心，建立工農(nóng)游擊武裝，用梭鏢、大刀、鳥銃同反動派進行針鋒相對的斗爭。10月初，農(nóng)民隊伍正式命名為“衡北游擊師”。19日夜晚，在中共湘南特委和衡陽縣委的部署下，“衡北游擊師”在妙溪、麻町、月山、神皇、江柏堰、國清、界牌、石頭橋，以及衡山南岳周圍百里的地區(qū)、發(fā)動農(nóng)民群眾，聯(lián)合舉行聲勢浩大的武裝斗爭。

二、工農(nóng)革命軍第八師

1927年9月初,衡陽縣委委員羅子平與劉禹謨等在南鄉(xiāng)井頭? 召開黨員緊急擴大會，成立中共南鄉(xiāng)特區(qū)委員會，劉禹謨?nèi)螘?。深入發(fā)動群眾，籌建革命武裝，打擊反革命的囂張氣焰，以武裝保衛(wèi)革命。1928年農(nóng)歷二月初二(公歷2月22日)，工農(nóng)革命軍第八師在南鄉(xiāng)寺宣布成立。

三、桐梓山工農(nóng)游擊隊

1927年秋，東鄉(xiāng)桐梓山何炳林利用幫會的形式，組織300多農(nóng)民群眾開展活動。共產(chǎn)黨員李育松前往宣傳發(fā)動，改編為農(nóng)民游擊隊，李育松任隊長，活動于衡陽、耒陽、常寧三縣的邊界地區(qū)。1928年1月26日，水口山礦黨支部書記宋喬生根據(jù)湘南特委指示，領(lǐng)導(dǎo)工人起義，以桐梓山游擊隊為外援，里應(yīng)外合。參加起義的工人隊伍804人奔赴桐梓山，與李育松游擊隊匯合后，成立了桐梓山工農(nóng)游擊隊。

四、工農(nóng)革命軍九師三團

1927年12月，何寅修、屈森澄來西渡組建工農(nóng)游擊武裝，恢復(fù)和發(fā)展西渡第九支部，以此為基礎(chǔ)，將組織向周圍的英陂、西湖、演陂、九里渡、牌樓沖等地擴展，同時又與朱克敏、寧智等人在大云組建的潤身堂支部聯(lián)系，成員迅速增加。不久臺源寺的共產(chǎn)黨員劉寶堂率領(lǐng)的一支60多人的隊伍，也與第九支部實行聯(lián)合，聲威大振。1928年2月7日，工農(nóng)革命軍第九師第三團在西渡正式成立。

五、工農(nóng)革命軍第七師

1928年2月16日，工農(nóng)革命軍九師三團奉命開赴將軍廟矮子嶺宋香林家，與肖覺先率領(lǐng)的衡北游擊師余部匯合，改編為衡陽工農(nóng)革命軍第七師。各地農(nóng)民紛紛報名參軍，隊伍很快發(fā)展到1000多人。4月10日，工農(nóng)革命軍第七師1000多人在西渡靈官廟舉行聲勢浩大的向南岳進軍的誓師大會。會后兵分兩路向南岳進發(fā)，沿途搗毀了團防局，鎮(zhèn)壓了反動派。