此后，黄公略等人率红五军在平江、浏阳及江西的修水、万载等地开展游击斗争，同时积极开展群众工作，成立了中共湘鄂赣边特委。1928年10月，根据党的指示，彭德怀、滕代远率红五军主力转移到井冈山，与红四军会合。黄公略带领第2纵队六个大队开始了极为艰苦的湘鄂赣游击战。由于敌人的“围剿”，红军当时处于十分困难的境况中，黄公略所带领的6个大队只有一二百人。在这种情况下，黄公略依靠地方党、游击队和成千上万的人民群众，采取化整为零、避实就虚、声东击西等灵活的游击战术，积极打击敌人。他带领第二大队在浏阳先后发动了毛田，鲁家湾、老乌和金坑等地农民暴动，消灭了反动民团和当地的国民党驻军，扩大了游击队。11月，他指挥万载县突袭战，消灭了反动的靖卫团，镇压了反动县长，缴获了很多枪支弹药。1929年3月，他指挥红五军第二大队会同区赤卫队，夜袭永和市，毙伤敌军100多人，缴获枪支100余支。

    不久，在中共湘鄂赣边特委的领导和黄公略的指挥下，湘鄂赣革命根据地逐步建立起来，部队也不断发展壮大，到1929年秋天，红五军主力从井冈山回来时，这支部队已由一年前的200余人发展到2000人，有枪千余支。在坚持湘鄂赣边支队的斗争中，黄公略的领导才华得到充分展示。与红五军会合以后，黄公略担任红五军副军长。1930年初，红六军正式组建，黄公略任军长，不久，红六军改为红三军，黄公略任红三军军长。

    1930年初，“立三路线”统治了党中央，黄公略是非分明、立场坚定，始终拥护以毛泽东为首的总前委的领导。在中央革命根据地三次反“围剿”的斗争中，黄公略率领红三军英勇作战，屡立奇功，显示出卓越的指挥才能。第一次反“围剿”，红三军从正面出击，迎击东进的张辉瓒所率十八师先头部队。1930年12月30日拂晓，浓雾弥漫，红三军七、八、九师隐蔽在龙冈黄竹岭一带，准备对来犯之敌来个迎头痛击。清晨，张辉瓒率第五十二、五十三旅及师部8000人马，偷偷地从龙冈向君埠进犯，黄公略一声令下，沉睡的山岭顿时沸腾起来，英勇的红军很快把敌军逼到河边，敌人有的被打死、有的被淹死，顿时乱了阵脚。穷途末路的张辉瓒狼狈地藏进了草丛中，被我军活捉。张辉瓒的警卫营全营官兵缴械投降。龙冈一役，全歼敌军9000人，缴获了大批武器。

    不久，蒋介石亲自督阵，带领30万大军，向中央苏区发动了第三次“围剿”。黄公略指挥红三军及其他部队突进敌军后方莲塘。8月5日，经过激战，消灭了敌人两个师。紧接着，又率领红三军佯攻龙冈，实际上突袭黄陂，仅用40分钟即全歼敌48师。9月6日，红三军又配合兄弟部队歼敌五十二师，俘敌5000多人，缴获了几百匹战马和大量枪支弹药。被俘的师长韩得勤由于化装成伙夫未被识别出来而侥幸逃走。

    方石岭战斗胜利后，黄公略率红三军于15日来到东固六渡坳。突然，三架敌机从上空飞过，疯狂扫射，而这时红七师队伍正在向东固行进。黄公略一面令红7师隐蔽，一面跃上山坡，指挥机枪对空中射击。敌机子弹倾泻下来，有三颗子弹射中黄公略，他顿时血流如注。年仅33岁的黄公略就这样牺牲了。