清光绪十二年(公元1886年)，召内活佛去世，没再寻认“呼毕勒罕”。此后没了活佛，它便开始萧条，失去繁华，逐渐荒圮，庙院毁坏，最终只剩下了这座塔。

　　五塔(即金刚座舍利宝塔)，属于密宗塔，是佛塔建筑中的一种形式，与印度现在的佛陀伽耶式塔属同一种类型，它是根据佛教经典《金刚经》的教义设计而成的。据记载，佛祖成道处无坚不摧，谓“金刚”之地。此塔冠名“金刚座”，喻佛教圣地犹如金刚般坚固。“舍利”指佛祖或高僧大德的骨灰。“宝塔”，指佛塔是聚宝之所，存有宝物。据考察，在国内这种形式的塔只有五座，分别在北京的真觉寺、碧云寺和西黄寺，云南昆明的妙堪寺和呼市的慈灯寺。这种塔型是根据佛教经典《金刚经》的教义而设计的，在台座上用梵、藏、蒙、汉四种文字刻出金刚经，并代表金刚五界宝座的狮、象、马、孔雀和迦楼罗五种动物形象，所以称为金刚座，座上中间建一座较大的塔，在四角建四座小塔，用以代表金刚界的五部。