據(jù)《米氏世系》碑記載，在元代至正年間之前就建有米家庵了。明代被毀，清代重修多次。清代光緒元年（1875年）曾修一次，文淵閣大學(xué)士單懋謙為牌樓親題“米公祠”門額。民國時期，米芾27世孫米高秦千方百計(jì)保管米公祠中45塊石刻，使這批珍貴的文物幸免于戰(zhàn)亂，解放后米高秦主動獻(xiàn)出石刻，運(yùn)至米公祠存放。1956年湖北人民政府公布米公祠及其石刻為省級重點(diǎn)文物保護(hù)單位。

　　建國以來，國家曾撥款對米公祠多次進(jìn)行維修。特別是黨的十一屆三中全會，對米公祠進(jìn)行大規(guī)模的修復(fù)。不僅將僅存的牌樓過廳和寶晉齋修復(fù)一新。而且依據(jù)米公祠記石碑文等史料，增設(shè)了一進(jìn)院，內(nèi)有大屏風(fēng)、半壁廳、怪山石、墨池；二進(jìn)院通過“墨園覓勝”門，有潔亭、曲徑通幽、米氏故里碑；三進(jìn)院為石林、四百余歲的銀杏樹，樹下矗立著五通記事碑；《重修米公祠碑記》、《米南宮志林序》、《凈明齋記》《米氏宗譜序》、《米氏世系序》。園兩側(cè)建有碑廊，計(jì)16間，朱紅廊柱，飾以雕刻，美觀大方，內(nèi)嵌砌米氏父子、黃庭堅(jiān)、蔡襄、趙子昂等人的石刻，珠璣滿壁，交相輝映。米公祠經(jīng)過修繕后，前來觀賞的中外游客絡(luò)繹不絕。黨和國家領(lǐng)導(dǎo)人李先念、方毅、張愛萍、張廷發(fā)、楊靜仁等曾到米公祠參觀，有的領(lǐng)導(dǎo)人還為米公祠題詞。