公元1080年前后，由西藏著名佛學(xué)大師瑪爾巴出資，命弟子米拉日巴修建碉樓，經(jīng)米拉日巴千辛萬苦修筑了色喀古托(意為“九層公子堡”)和碉樓下的噶哇久尼殿(意為“十二柱殿”)。到了16世紀(jì)上半葉，噶舉派大學(xué)者巴哇??祖拉陳哇對(duì)該寺進(jìn)行了大規(guī)模的維修擴(kuò)建，從而形成了現(xiàn)在的規(guī)模。據(jù)說擴(kuò)建所成的杜康大殿的壁畫就是祖拉陳哇親手所繪。

　　五世達(dá)賴執(zhí)政時(shí)噶廈政府規(guī)定對(duì)該寺每一繞迥進(jìn)行一次維修。公元1944年桑珠寺的活佛主持了該寺最后一次維修。這次維修以后，色喀古托寺開始了以格魯派教法為主的佛事活動(dòng)。色喀古托碉共九層。一、二層地下室及儲(chǔ)藏室；三、四、五、六、七層為原來的建筑，八、九層是公元 1985年重建。除一、二兩層，各層均供有佛像，各層面積的三分之一均為樓梯部分。梯道左右相錯(cuò)。

　　杜康大殿位于古堡西側(cè)，傳為公元16世紀(jì)上半葉，由巴哇??祖拉陳哇所建。杜康大殿前有二柱回廊�？鄢�回廊為30柱經(jīng)堂，經(jīng)堂四壁皆繪有壁畫，經(jīng)堂后為4柱佛殿，佛殿西有一間兩柱的密宗殿，內(nèi)塑有各種密宗神像，像高2.4米左右，神像大都血口獠牙，面目猙獰恐怖，披人皮或獸皮，掛飾人頭等。杜康大殿二層為僧舍及庫房等。