罗科索夫斯基1896年12月9日出生于大卢基市。1914年加入沙俄军队服役，参加第一次世界大战。十月革命后，加入赤卫军，1919年加入苏联共产党。苏俄国内战争期间，在骑兵部队先后任连长、营长、团长。先后进入骑兵指挥人员进修班、伏龙芝军事学院高级首长进修班深造。1930年任苏联第7骑兵师师长，后改任苏联第15骑兵师师长。1936年，任苏联第5骑兵军军长。1940年，任苏联第9机械化军军长。

1941年7月，任苏联西方方面军所属的苏联第16集团军司令。1942年7月，任苏联布良斯克方面军司令。1942年9月，任苏联顿河方面军司令，带领方面军与保卢斯的德国第6集团军展开激战。1943年2月，因苏联顿河方面军改编为苏联中央方面军，遂改任苏联中央方面军司令。1943年10月，任苏联白俄罗斯方面军司令。1944年2月，任苏联第1白俄罗斯方面军司令。苏联元帅军衔。1944年11月，任苏联第2白俄罗斯方面军司令。1945年6月22日，奉命主持莫斯科胜利阅兵式。组织指挥（或参与组织指挥）的重大战役主要包括：斯摩棱斯克交战，莫斯科会战，斯大林格勒会战，库尔斯会战，白俄罗斯战役，东普鲁士战役，东波美拉尼亚战役，柏林战役等。1944年，获得苏联元帅军衔。

战后，1945—1949年任北部军队集群总司令，1949—1956年应波兰政府邀请并经苏联政府同意而出任波兰部长会议副主席兼国防部长。后来则担任过苏联国防部副部长、国防部副部长兼总监察长、国防部总总监组总监等职。

1968年8月3日，在莫斯科逝世。曾获得7枚列宁勋章，1枚“胜利”最高军功勋章和其他各类勋章多枚。著作有《军人的天职》。