西子祠屢毀屢修，清道光二十二年(1842)，由陳延魯捐資重修。咸豐十一年(1861年)又毀于戰(zhàn)火。光緒(1875一1908)年間，里人集資重修，架屋三楹，余皆荒廢。民國初，已成“短垣半紀(jì)，蘚草迷離�！泵駠�十八年(1929)，陳錦文等集資再建，正廳三間，祠宇高敞，門額書顏體“西子祠”三字，里人周嗣培署。前臨曠地，植花栽竹，圍以石欄。民國二十三年(1934)兩廡又配筑南廳、北閣。正廳鑾閣，中供西施塑像，旁立宮女二，鑾閣頂端豎二小匾，一曰“歸真處”，一曰“時(shí)雨之化”。左右置小聯(lián)。

　　今殿為1990年重修，坐北朝南，三開間，重檐歇山頂，殿內(nèi)塑西施像。西子祠門聯(lián)為：“山圍古堞青蘿色；水涌寒灘白些聲�！蔽髯屿酏惵�(lián)為：“越錦何須衣義士；黃金只合鑄嬌姿�！敝�聯(lián)有：“駐節(jié)觀風(fēng)，想當(dāng)中名娃粉黛，國士風(fēng)流，俯仰千秋人物；飛觴醉月，問門外山色蒼茫，溪聲幽咽，浮沉幾代興亡”。其他景點(diǎn)有古越臺、鄭旦亭、碑廊、紅粉池、沉魚池、暨陽先賢閣等，是一個(gè)頗具特色的仿古建筑群。