咸丰八年（1858年），谭上连投湘军，参与镇压太平军。次年，在宝庆（今邵阳）攻打太平军有功，授六品顶戴。此后数年，他又屡立战功，到同治三年（1864年）被擢拔为湘军高级将领（参将），年仅24岁。

　　同治五至七年（1866—1868年），谭上连随刘松山攻击捻军时升为总兵，交军机处记名。第二年，随刘松山到甘肃镇压回民起义，连战皆捷，得官拜记名提督。同治十二年（1873年），奉左宗棠之令，率兵攻陷回民占领的肃州，并在此驻防。次年奉诏督修肃州城池。他注重实用，从不好事奢靡、随意拖长工期，以中饱私囊。朝延下拨3万两白银修筑肃州城，他却只用了3千两，而且数月内便竣工。同时，他十分重视发展地方经济，对外召集流亡，对内安抚孤苦，鼓励老百姓开垦荒芜，发展生产，数年之间，境内安宁，民食宽裕。

　　后来，新疆浩罕军事头目阿古柏，受英、俄帝国主义支持，成立“哲得沙尔国”。光绪二年（1876年）左宗棠委派谭上连为前锋，经肃州入疆征战，战旗所指之处势如破竹。《新疆图志·武功篇》记述谭上连收复新疆战功说：“一月之中行三千里，半年里复七八城，战必胜，攻必取。于上连首屈一指焉。”

　　光绪十年（1884年）新疆建省，谭上连担任最高军事长官（乌鲁木齐提督）。光绪十二年（1886年），巡抚刘锦棠以“喀什逼近强邻，非精兵良将不足镇慑”，谭上连“谋勇兼备声望素孚”，奏请移提督署于南疆略什葛尔。

　　光绪十六年（1890年）三月初三，谭上连在喀什提督任所病逝，后归葬于家乡衡阳县。

　　（记者胡建军根据市志办提供的资料整理）

　　47