清光绪十二年(公元1886年)，召内活佛去世，没再寻认“呼毕勒罕”。此后没了活佛，它便开始萧条，失去繁华，逐渐荒圮，庙院毁坏，最终只剩下了这座塔。五塔(即金刚座舍利宝塔)，属于密宗塔，是佛塔建筑中的一种形式，与印度现在的佛陀伽耶式塔属同一种类型，它是根据佛教经典《金刚经》的教义设计而成的。据记载，佛祖成道处无坚不摧，谓“金刚”之地。此塔冠名“金刚座”，喻佛教圣地犹如金刚般坚固。“舍利”指佛祖或高僧大德的骨灰。“宝塔”，指佛塔是聚宝之所，存有宝物。据考察，在国内这种形式的塔只有五座，分别在北京的真觉寺、碧云寺和西黄寺，云南昆明的妙堪寺和呼市的慈灯寺。这种塔型是根据佛教经典《金刚经》的教义而设计的，在台座上用梵、藏、蒙、汉四种文字刻出金刚经，并代表金刚五界宝座的狮、象、马、孔雀和迦楼罗五种动物形象，所以称为金刚座，座上中间建一座较大的塔，在四角建四座小塔，用以代表金刚界的五部。

        五塔通高16.5米，是一座砖石结构的喇嘛教塔。下部为金刚座，高7.82米；上部为五个方形舍利塔，中央塔高达6.62米。金刚座下部为须弥座，须弥座东、西、北三面都有浮雕装饰，东西两面图案相同，中间均为法轮，左右对称依次为人戏狮子、狮子、孔雀、法轮、金刚杵结。须弥座和金刚座之间，镶以汉白玉石一周，上以蒙、藏两种文字刻着一些吉祥语。须弥座和金刚座南面为券门，沿券门镶以汉白玉石，上饰狮、象、龙、飞天等浮雕，左右对称。券门上方，位于金刚座第五层中间，嵌有石匾，用蒙、藏、汉三种文字刻出“金刚座舍利宝塔”七字。券门两侧有砖雕的四大天王像，其下为伎乐和佛经故事图象，形象生动逼真，技艺纯熟细致。