咸丰三年 (1853年), 曾国藩在衡阳练水军, 编成10个营,彭负责统领一营。次年, 率部赴湘潭、岳州、田家镇镇压太平军, 接连打了几次胜仗, 被授知县、升同知, 以知府记名。 咸丰五年(1855年)七月守武昌, 烧毁太平军船200余条。 经胡林翼保举, 授浙江金华知府。 彭推辞不受留营, 继以道员记名。
后曾国藩在江西屡为太平军所败,迭召彭相助。咸丰六年(1856年), 在樟树镇、临江吴城、涂家埠、南康打了几个小胜仗,得实授广东惠湖嘉道, 仍辞不赴任。次年, 曾国藩丁忧回籍,彭玉麟正式做了水师统帅。秋, 率水师在湖口打败太平军,攻取要塞小姑山, 加按察使衔。 咸丰七年 (1857年) 参与攻克九江之役, 晋升布政使衔。接着,因克黄州之功升为安徽巡抚。他不愿离开军队,改任水师提督。
同治元年(1862年),彭玉麟积多年征伐之功, 升任兵部右侍郎,节制镇将,继续与太平军作战。同治三年 (1864年), 参与攻克天京 (南京) 之役,加封太子少保街,授一等轻车都尉。同治十一年(1871年)起,率令每年巡阅长江水师一次。
光绪七年(1881年),清廷派他担任两江总督,他上疏力辞,推荐左宗棠出任。光绪十六年(1890),彭玉麟逝世于衡阳江东岸寓所,清廷追赐太子太保之衔,赐谧刚直,并为他建了专祠。
彭玉麟于军事之暇, 也绘画作诗, 以画梅名世。他的诗由俞樾结集付梓,题名《彭刚直诗集》。
(本报记者翟瑜根据市志办提供的资料整理)