张勋早年丧父母，于1884年（清光绪十年）在长沙参加军队，坦率直白、敢作敢当，随清军进入广西参加中法战争。晚清时期，初隶广西提督苏元春部，为参将。中日甲午战争爆发，随四川提督宋庆调驻奉天。1895年（光绪二十一年）投靠袁世凯，任新建陆军工程营管带（营长），行营中军（督练处总务长）。后随袁到山东镇压义和团。1899年升至总兵。1901年调北京，宿卫端门御前护卫，多次担任慈禧太后、光绪帝的扈从。1909年（宣统元年）溥仪即位后，历任江南提督，率巡防营驻南京。

武昌起义后，奉令镇守南京，戒备陆军第九镇新军，对抗革命军。他被清政府授为江苏巡抚兼署两江总督、南洋大臣。为表示忠于清廷，本人及所部均留发辫，人称“辫帅”，所部定武军人称“辫子军”。1913年袁世凯任大总统后，所部改称武卫前军，驻兖州，表示仍效忠清室，禁其部卒剪去发辫。二次革命中奉袁世凯命，率部往南京镇压讨袁军，纵兵抢掠，屠杀民众数千人。

旋被袁世凯授为定武上将军，任江苏督军，调往徐州，转任长江巡阅使，移驻徐州。袁世凯称帝后授为一等公，但内心仍一意维护清廷。1916年袁死后，在徐州成立北洋七省同盟，不久任安徽督军，扩充至十三省同盟，阴谋策划清室复辟。1917年6月形势不稳，大总统黎元洪和国务总理段祺瑞之间发生“府院之争”，争相拉拢其进京调停，于是趁机联合康有为等保皇党人以调解府院之争为名，率兵入京，解散国会，赶走黎元洪。7月1日与康有为拥立溥仪复辟，重新建立皇政，被溥仪任为议政大臣兼直隶总督、北洋大臣，史称“张勋复辟”。但12日为皖系军阀段祺瑞的“讨逆军”所击败，逃入荷兰驻华公使馆。溥仪退位后，他被通缉，继逃到天津德租界。

1918年3月，北洋政府以“时事多艰，人才难得”为由，对洪宪祸首和辫帅复辟案犯均一律实行特赦。获自由后，他一直蛰居天津德租界6号（今河西区浦口道6号）寓所。

1923年9月12日，他因病在天津逝世，终年69岁，溥仪赐谥“忠武”。