谭钟麟闻讯大怒，电奏弹劾苏元春，请求废除所订立的条约。此时正值遂溪人民抵抗法国侵略，并给予沉重打击，打伤法侵略军队长。法国公使竟然要求清廷镇压遂溪人民，处死遂溪知县。谭钟麟电奏陈述说：这都是总督分内之事，与知县无关，法国人屡次打伤百姓，将如何赔偿呢？但腐败无能的清政府还是答应了法国人的要求，罢黜遂溪知县，订立《广州湾租界条约》。谭钟麟自责叹声道：“为国家守土不能保，又重伤吾民，何颜复居此乎？”于是称病奏请解任。他先后五次上书，但始终不得辞职，最后只得到清廷准许的两个月病假，并令赴京陛见。
    1901年春，谭钟麟入京后，在被召见于颐和园时，又请开缺回原籍养病。尽管清廷给予他“恩慰隆厚”，慈禧甚至在召见谭钟麟时，以他叩拜困难特命内侍搀扶，谭还是以自己年老体衰“恐误国事”为由，“乞许开缺”。恰此时，八国联军打进北京，各王公大臣纷纷避逃他住，在朝官员多劝其迅速离开。谭钟麟则不愿离去，他说：“明知无官，守留无益，然尝为大臣，观国难忍先去耶？”到这年七月慈禧太后逃往西安，谭钟麟才以病重为由请求归家。在家五年，谢绝一切客人的拜访，忧国忧民之心，时时见于其言辞之中。1905年，谭钟麟病逝，谥文勤。
    谭延闿自幼随宦在父亲身旁，谭文勤公的言传身教对谭延闿的处世为人，治事做官，自然产生了重大影响。特别是耳闻目睹谭文勤公恤流亡、理狱讼、清赋税、平乱事，尤其在陕西巡抚和陕甘总督任内，筹办粮饷，支援左宗棠大军西征，平回乱而定新疆，在谭延闿的心目中，留下了深刻印象。
    凡此珍贵的见闻与体验，也不是其他人等所可以幸致的，而出自谭延闿本人亲笔的谭文勤公身后的行状，言词所及，对父亲敬佩至极。因而，青少年时期的谭延闿与陈三立、谭嗣同并称当时“湖湘三公子”（谭嗣同是湖北巡抚谭继洵的儿子，陈三立是湖南巡抚陈宝箴的儿子，加上谭延闿，三人当时都随宦在父亲身旁，也过问政治，所以出名）。
    胡汉民说，谭延闿“少时，在两广督府幕中，遇到疑难的公事为他人所不解的，只有谭先生了如指掌，而且区处条理，都能恰合分际。”这正验证了出身宦门、久历官场对于踏上仕途的谭延闿影响之深远。