谭延闿母亲李氏，是河北省宛平县人，早年父母双亡，与其弟相依为命，原在谭府做丫鬟。1871年谭钟麟赴任陕西布政使时，元配陈氏患病不能随任，见李氏聪明贤惠，就收作小老婆。母亲的孤儿生活以及嫁到谭家做小的艰难处境，对谭延闿一生的生活情趣、性格品质都产生了一定影响。
    谭延闿对其母亲也非常孝敬，不敢有半点违拗之举。谭延闿有一别号名“慈卫”，并专门著有《慈卫室诗草》，其立意所现，首先就是孝子情深。1926年，谭延闿寓居广州，专门写了一些《儿时杂忆》诗，其中一首如下：
    相逢姊弟叹无家，雪涕亲斟饭后茶；
    说与痴儿知外氏，长辛店北路三叉。
    此诗写照的，乃是李氏夫人嫁入谭家之后第一次拜谒“先墓”时谭延闿的亲身见闻与感受。
    1892年，谭钟麟从北京去福州赴任闽浙总督时，十三岁的谭延闿陪着母亲李氏顺道到长辛店拜谒先人之墓，谭延闿这时才知道母亲家是长辛店人。当时，李氏父母双亡，唯一亲弟李安清的生活还是贫寒交加（根据谭母自忆，其父“病革时，思勺水饮且不可得，仅一布衣以殓”，其家寒怆可知），这次跟已经生得贵子的姐姐相认相聚后，方始随同谭家“南迁湘潭”，为之“置田宅娶室”的自然也是谭家。可惜的是，这位薄命的舅父五年后就病殁湘潭，死时无子。
    因为湘人礼法隆重家风谨严，谭钟麟性格严厉，又因谭延闿亲母乃寒门侧室，根据坊间传说，李氏夫人在谭家身份卑微，每逢全家用餐时，只能侍立桌旁为人添菜添饭，自己不可同桌而食。直到她所生之长子谭延闿高中会元光耀乡土后，母因子贵，这才由其夫谭钟麟破格开恩，李氏夫人饭时可入正厅就座用餐。
    据谭延闿亲自执笔的《太夫人行述》记载，其父谭钟麟“性严毅，意有不可则盛怒呵叱，家人常懔懔”。因此，谭延闿在母亲逝后针对母亲“承事三十年，小心谨慎，至老不懈”的描述，与其说是表彰，还不如说是悲哭。谭母死时，谭延闿已有功名在身，且正二度督湘，可谓富贵双全，但按照族中规矩，其母灵柩仍只能从族祠旁门抬出。谭延闿不惜以孝子贵官身份伏于娘亲灵柩之上，自称“延闿已死，抬我出殡”，方才保得母亲从正门出葬的礼遇。
    正是这样一种出身尴尬的惨淡经历，赋予了谭延闿善于自保、察言观色、善测风向、圆滑机智的精神气质，更赋予了他不屈不挠、立建功业、光耀门庭的内在压力。也许是出于替身世凄凉的母亲鸣不平的心理，谭延闿一生不少豪举，例如其被称为“从事教育之始”的以校董身份资助长沙明德学校，就是自称“以太夫人命”而行。他每次寄信给明德学校的校长胡元倓，也均署名“慈卫生”。