花園建于明代弘治十六年（公元1503年），重修擴建孔府時同時修建，由長沙李東陽監(jiān)工設計。李東陽當時是太子太傅、吏部尚書、華蓋殿大學士、國史總裁，他為什么親自設計。因為李東陽的女兒嫁給了孔子六十二代孫、衍圣公孔聞韶，做了一品公夫人，為了女兒，他才如此大賣力氣，修建花園。在修建完孔府和孔廟后，李東陽曾4次作詩寫賦，勒碑刻銘，記此盛舉。此次修建之后，到明代嘉靖年間，嚴嵩取代了李東陽的地位，也是太子太傅、吏部尚書、華蓋殿大學士、國史總裁，為當朝首相。他也看中了孔府，把自己的孫女嫁給了孔子六十四代孫、衍圣公孔尚賢為一品夫人。嚴嵩又幫助衍圣公擴建重修孔府和整修花園，從各地名山搬來奇石怪巖，從各地園林移植名花奇草，使得孔儲花園更為可觀。合傲岱巖松。

　　孔府花園從李東陽、嚴嵩到乾隆皇帝，前后3次大修，其間還有中修和小修，因此花園越修越大，占地10余畝。其中有山、水、林、曲橋、花塢、水榭、噴泉，還有水中石島、乘涼的花廳、敬花神的石壇、賞月的涼臺、焚香讀書的壇屋。園內(nèi)還有一株近幾年400年的“五君子柏”，一樹五枝，中生一株槐樹，因此又　名“五柏抱槐”，有詩贊曰：五干同枝葉，凌凌可耐冬。聲疑喧虎豹，形欲化虬龍。曲徑陰遮暑，高槐翠減濃。天然君子質(zhì)，合傲岱巖松。