舍利塔在爱晚亭后右方不远的密林中。过了枫林桥，便能见到一座形似僧帽的古塔，塔基正方形，边长约二米，塔高十二米，四角和正面共有五幅浮雕，正面是佛象。塔旁竖一石碑，正面刻有“隋舍利塔”，背石刻有“共建菩提”，外面设石栏保护。宋沙门觉范撰《隋感应佛舍利塔记》：隋文帝杨坚于梁武帝大同七年六月出生于同州（今陕西大荔县）大兴寺中，婴儿时曾暴病，有尼名“智仙”者，从外至，对杨坚之父杨忠说，此儿大有福，为天佛所佑，不可令居家中，当代为养育，于是杨忠辟馆延居，杨坚30岁时，让他回家，女尼以舍利子数百颗授之，曰：“以此福苍生”。杨坚称帝后于仁寿二年（公元六零二年）诏令全国五十二州，在名山福地建塔，分藏舍利子，塔下绘尼之像以纪之。据说岳麓山这座塔就是其中之一。