吴棠是安徽盱眙人，关于吴棠的传说中，流传最广的便是恽毓鼎的《崇陵传信录》中的一个故事：
    道光年间，湖南道员刘某谢世，其子扶棺回籍。丧船抵达清河县（今江苏淮阴）地界时，派人上岸向刘父故交、清河县令吴棠报信。吴棠得信后，立即派人捎带三百两白银，去船上送给刘某的儿子。仆役来到河边，看见一艘丧船停在那儿，上前一问，果是某道员之灵，便呈上三百两白银作为祭礼。船上的姐妹两人，接过银钱，千恩万谢。但此船的灵主是安徽皖南道员惠征。他的两个女儿也是扶柩还乡，船停在清河码头，且川资不够，正处困顿之中。吴棠听了仆役禀报，觉得很不对劲，便派人再去打听，原来码头上停着两艘丧船，仆役送错了地方。但送出去的祭礼又不好要回来，吴棠干脆来个将错就错，做个顺水人情算了。
    于是，他第二天又封了三百两银子，亲自送到刘某船上。祭拜之后，再到另一艘丧船上，祭拜惠征。两个少女见到素昧平生的吴县令如此仗义，顿时，感激涕零。姐姐对妹妹说：“千万要记住咱们的恩人，他日若能富贵，一定报答这个贤良的人！”并将吴的名帖珍藏在妆盒中。
    这位姐姐后来被选入宫，成为咸丰皇帝的贵妃，咸丰死后即为垂帘听政、集军政大权于一身的慈禧太后。于是，吴棠官运亨通，在几年内数次被破格提拔，先后出任两广总督、闽浙总督、四川总督。
    吴棠在任闽浙总督时，驻节福州。一次，巡行杭州，其随从横行于市，欺压百姓，他人敢怒不敢言。时任杭州知府的谭钟麟立刻差人捉拿，施以鞭刑。吴棠听属下报告此事后，觉得谭钟麟打狗欺主，故意侮辱自己，大发雷霆。浙江巡抚不敢得罪吴棠，一面向吴棠赔礼道歉，请求他对谭钟麟网开一面，同时令按察使向谭钟麟传话，让他立即释放吴棠的手下。
    吴棠一时怒气未息，忽报谭钟麟求见，即令进见。谭钟麟从容进屋，咳嗽一声——古礼：将上堂，声必扬。吴棠马上变得和颜悦色起来，请谭钟麟就座，并说：“隶卒不法，劳君处分甚喜，可不置议。”言语之间，甚为殷勤。谭钟麟辞去后，巡抚问个中缘由，吴说：“顷观谭君趋走如龙，仪态安雅，法当贵显。我与公今日坐处（指闽浙总督和浙江巡抚位子）要当留待此人。”后来，谭钟麟果然先任浙江巡抚，后任闽浙总督。
    谭钟麟任杭州知府三年，清理赋税，督治海塘工程，疏浚长安河道，安抚流亡百姓，恢复农业生产，处理多年积压案件，整顿监狱秩序，深得百姓拥护。在浙抚马端敏、军机大臣文祥（虽未与谭钟麟打过交道，但自内阁之议时就已经领略过谭钟麟屡次上书之事，因而也多次举荐）的保荐之下，1868年，谭钟麟被提拔为河南按察使。但到任仅三个月，因母亲去世，回乡守制丁忧。1871年，守制期满，他赴京复命候任。
    此时，同乡左宗棠任陕甘总督，他很了解谭钟麟，对谭很赏识。得知谭钟麟在京候任，便奏请谭到陕甘督府襄办军务。慈禧对湖南人掌军务大权本来有猜忌，担心谭钟麟去为左宗棠协办督军，会扩大左的势力，但又不好不给左面子，于是授谭钟麟为陕西布政使，不久代理陕西巡抚。