1926年11月和1927年2月，罗亦农与赵世炎等人两次领导上海工人举行起义，均未成功。但他没有气馁，积极参加中共中央和上海区委准备第三次武装起义的工作。1927年3月21日，在北伐军进抵上海近郊龙华的情况下，他与陈独秀、周恩来、赵世炎等一道，及时指挥发动上海工人总罢工，并随即转为武装起义。在党的领导下，英勇的上海工人依靠自己的力量，经30小时激烈战斗，以鲜血和生命的代价占领了上海，第三次武装起义取得成功。3月22日，上海市工商学各界举行代表会议，选举19人组成上海临时市政府（即上海市民政府），罗亦农被选为临时市政府委员。

    蒋介石发动四一二反革命政变后，罗亦农奉命调离上海，到武汉参加党的五大，并当选中央委员。1927年5月至9月，他先后任中共江西省委书记、中共湖北省委书记。在党的八七会议上，罗亦农和大多数同志一起，坚决反对党内对于国民党右派的右倾错误政策，主张用革命的、武装的手段反对国民党反动派的屠杀政策。八七会议在革命的危急关头，确定了土地革命和武装反抗国民党反动派屠杀政策的总方针，使党担负起了领导中国革命的重任。在这次会议上，他被选为中共中央临时政治局委员。不久，又被选为中共中央临时政治局常委，先后担任中共中央军事部代部长、中共中央组织部部长、中共中央长江局书记等职，负责领导湖北、湖南、江西、四川、安徽、陕西等省的工农革命与党的工作。1927年底离开武汉前往上海中共中央机关工作。

    为筹备召开党的六大，罗亦农置个人安危于不顾，冒着极大危险，到湖南、湖北等地了解情况，在上海听取各地同志汇报情况，掌握大量第一手资料，为党制定全国革命斗争方针作准备。他还与瞿秋白一起拟写提交六大的《党纲草案》。正当各项准备工作基本就绪，即将赴莫斯科召开党的六大之际，1928年4月15日，因叛徒出卖，罗亦农在上海英租界被捕。他在狱中与敌人进行了坚决斗争，表现了一个共产党员视死如归的革命气节和崇高品格。由于罗亦农同志对党的工作的极端重要性，敌人迫不及待地要将其杀害。4月21日，罗亦农在上海龙华从容就义。他把满腔热血献给了中国人民革命事业，牺牲时年仅26岁。

    噩耗传来，当时还在想尽办法从事地下营救工作的周恩来悲痛万分，生怕哭声惊动左邻右舍，周恩来不得不把脸埋进有水的脸盆，边哭边洗，边洗边哭……

    中共中央在5月30日出版的《布尔什维克》第20期上，以头版头条的位置发表专文，题目是《悼罗亦农同志》。文章高度评价了罗亦农的革命精神，指出：“罗亦农同志的热烈的革命精神，可为中国共产党全党党员的楷模。反动派吴稚晖等提起罗亦农三字为之齿颤。他的死是莫大的损失！”