该军的前身一部为黄埔军校教导团。1924年4月，黄埔军校教导团编为党军第1旅。1925年8月，该旅扩编为第1军第1师，1929年1月，第1师改编为第9师；该军前身另一部师浙军第2师。1926年12月，浙军第2师改编为国民革命军第26军。1929年1月，该军缩编为第6师。

　1929年10月，蒋桂战争结束后，蒋介石以第6师与第9师合编为第2军，蒋鼎文任军长，陈诚任副军长。下辖：第6师，赵观涛任师长；第9师，蒋鼎文兼任师长；第11师，陈诚兼任师长；独立第4旅，罗霖任旅长。该军编成后隶属第2路军，于11月初参加了讨伐西北军的作战。1930年5月，该军参加了中原大战。此时，第11师调归第2军团建制。该军辖第6、第9师，隶属第3军团建制。

1931年6月，该今年奉命参加对中央苏区的第3次“围剿”。此时，第6师调出组成第1路进击军。第2军仅辖第9师，军长蒋鼎文兼师长。同年9月，该军第9师先头部队第27旅进至江西老营盘地区被红军歼灭。10月，该军奉命移驻上饶，并协同第79、第53、第55师等部向赣东北革命根据地进犯。1932年6月，该军军长蒋鼎文辞去师长兼职，由李延年调任第9师师长。1933年2月，该军开赴江西，编入中路军第3纵队，参加对中央苏区的第4次“围剿”。同年9月，第1军第3师调归第2军建制。此时，该军辖第3、第9师。10月，该军编入赣粤闽湘鄂“剿匪”北路军第2路，参加对红军的第5次“围剿”，向闽西红军进犯，被红军歼其1部。1934年10月，中央红军主力长征后，该军参加了对留在福建的红军游击队的“清剿”。此时，该军隶属驻闽绥靖公署，并将驻闽绥靖公署第80师拨归该军建制，仍由蒋鼎文任军长，下辖：第3师，李玉堂任师长；第9师，李延年任师长；第80师，陈琪任师长。

1937年7月，抗日战争全面爆发后，蒋鼎文升任第4集团军总司令，李延年接任第2军军长兼第9师师长。同年9月，该军由福建开赴上海，隶属第15集团军，参加了淞沪会战。1938年春，该军开往鲁南，参加了台儿庄对日作战。战后，该军撤至漯河地区整训。同年6月，该军第3师调归第8军建制。9月，第89师调归100军建制。同时，另将140师调归第2军建制。此时，李延年任第11军团长兼第2军军长，陈应龙任副军长。下辖：第9师，郑作民任师长；第140师，宋思毅任师长。此次建制调整后，该军即开赴湖北田家镇要塞与日军作战。11月，开赴湖南衡阳一带整训。

1939年初，国民党军进行整编，该军第140师改隶第37军建制，另将第86军第103师改隶第2军建制。此时，该军辖：第9师，郑作民任师长；第103师，何绍周任师长。1940年1月至2月，该军先后参加了桂南作战和昆仑关作战。第9师师长郑作民在昆仑关作战中殉国，由张金廷代理师长。3月，该军移师湖北恩施、巴东地区整训，隶属第6战区。4月，第103师调归新编第11军，另将第79军第76师和新编第33师调归第2军建制。此时，该军下辖：第9师，张琼任师长；第76师，王凌云任师长；新编第33师，张世希任师长。此后，该军相继参加了宜枣会战和第2次长沙会战。

1942年6月，第2军军长李延年调任第1战区第34集团军副总司令，由王凌云任军长，张琼、钟松任副军长。下辖：第9，第76师和新编第33师编制不变。此时，该军由湖北调往云南，隶属昆明防守司令部，集结于川、滇之间，担任守备。1943年10月至1945年6月，该军隶属中国远征军第11集团军，先后参加了中国远征军第1次入缅作战、滇西反攻作战和第2次任缅作战等。在第2次入缅作战后，该军留置中缅边境，担任国境守备。隶属中印公路东段警备司令部。1945年6月，该军新编第33师撤消，另将第6军预备第2师拨归该军建制。此时，王凌云任军长，钟松、张金廷任副军长。下辖：第9师，陈克非任师长；第76师，刘平任师长；预备第2师，顾葆裕任师长。同年8月，日本投降后，该军移防云南大理，隶属云南省警备总司令部。

1946年5月，国民党军进行整编时，将第2军改编为整编第9师，原军长王凌云改任师长。原下辖：第9、第76师和预备第2师，依次改编为整编第9旅，陈克非任旅长；整编第76旅，刘平任旅长；预备第2旅，杨宝谷任旅长。1947年2月，该师从云南调至华东战场后，预备第2旅改为整编第46旅。同年4月，蒋介石对山东发起重点进攻后，该师编入欧震的第3兵团，先后参加了泰蒙、孟良崮、南麻临朐、胶东等战役。在胶东战役中，该师被华东野战军歼其一部，残部逃向青岛。11月，整编第9师师长王凌云被免职，由陈非克继任师长。12月，王凌云升任河南南阳第13绥靖区司令官，第2军即由青岛船运河南，担任南阳地区守备。

1948年5月，该军在参加宛西，宛东战役中，被人民解放军歼其一部。10月，整编第9师恢复第2军番号，隶属第13绥靖区。陈克非任军长，下辖：第9师，尹作干任师长；第76师，刘平任师长。同时，将原辖第46旅改隶第5军建制。此时，该军辖第9师，蒋治英任师长；第76师，张桐森任师长；第164师，李剑霜任师长。该军恢复编制后，奉命南撤。于11月下旬抵达鄂西，担任守备宜昌。不久新组建的第164师拨归该军建制，李剑霜任师长。1949年7月上旬，第4野战军第13兵团发起宜沙战役。该军放弃宜昌，向鄂西山区撤退。解放军即发起追击，歼其一部。同年9月，陈非克升任第20兵团司令兼第2军军长。11月，第2野战军和第4野战军一部在南起贵州天柱，北至湖北巴东500公里的地段上对敌实施多路进攻。位于湘鄂西地区的宋希濂集团猝不及防，慌忙西撤。解放军即进行追击拦截。至12月下旬，将宋希濂指挥下的第14、第20兵团大部歼灭。陈克非率第20兵团及第2军残部逃至成都附近后，于12月25日，在彭县宣布起义。