内城北部正中有一平面不规则略呈正方形的小堡垒，当地叫“可汗堡”。堡内北面的高台上有一高达十五米的夯筑方形塔状建筑物；稍西有一座地上地下双层建筑物，现仅存地下部分，南、西、北三面有宽大的阶梯式门道供出入，规模虽不大，但与交河故城现存唐代最豪华的一所官署衙门建筑形式相同，可能是一宫殿遗址。解放前，一支德国考察队曾在堡内东南角盗掘出一方“北凉承平三年(445)沮渠安周造寺功德碑”。沮渠安周是在高昌建立流亡政权的北凉王，据该碑推断，此堡可能是当时的宫城，并有王室寺院。