地皇二年(公元21年)，王莽的荆州牧发兵进攻绿林军，绿林军出山迎击获胜，部众增至数万人，战斗意志高涨起来。地皇三年(公元22年)，绿林山中疾疫流行，绿林军出山，一支由王常、成丹等率领，西入南郡(治今湖北江陵)，称下江兵;另一支由王匡、王凤、马武等率领，北上南阳，称新市兵。新市兵攻随县时，平林人陈牧、廖湛率众响应，于是绿林军中又增添了一支平林兵。南阳的刘演、刘秀兄弟为西汉宗室，见天下大乱，他们亦打着“复兴汉室”的旗号，联络附近各县地主豪强，并且把宗族、宾客组成一支七、八千人的军队，起兵反莽，称为舂陵军。不久，为了壮大各自的势力，绿林军与舂陵军进行了联合，实力大增。联军于沘水和育阳大败莽军，进围宛城，不久爆发了历史上著名的昆阳之战，刘秀和绿林军的将领们大败新莽四十二万大军于昆阳。更始元年九月，绿林军攻入长安，王莽死于乱军之中，新朝灭亡。

更始三年，绿林军受赤眉军和刘秀大军的两路夹击，最终更始帝投降赤眉军，余众亦被刘秀所剿杀，绿林军宣告覆灭。轰轰烈烈的绿林大起义虽然失败了，但“绿林”二字却成为了后世那些“聚众山林、反抗朝廷”的英雄豪杰的代名词。