靈源山歷代有不少儒生結(jié)廬讀書。唐代首開八閩科第的歐陽詹就曾居此山讀書三載。宋代名士林知讀書終老靈源山并終葬于此。其后，林知裔孫，曾寫下傳世之作“山外青山樓外樓”的詩人林外，也曾讀書山中紫云室。山中還有如元代任過潮州路總管，元亡后寓居本邑沙堤的王翰，就常盤桓靈源山上，自稱“友石山人”。明代黃克晦、王慎中、陳讓、張瑞圖、蘇浚等名士都留下詠靈源山的詩篇，至今為人傳頌。

　　靈源山中有靈應(yīng)著稱的千年古剎——靈源禪寺，以及步云關(guān)、望江石、石境道人之塔、紫云室、靈泉井、七星墩、公婆石、獅仔石、靈壺天等勝跡。其中“靈壺天”三個娟秀的楷書大字，是里人明太傅尚書呈淳夫于萬歷四十七年題寫的。

　　“自古名山僧占多”，相傳早于隋初開皇八年（589年），就有僧人于靈源山頂立寺祀奉觀音大士。唐德宗貞元八年（792年）來庵隱居的道士蔡明浚與寺僧守凈共同擴(kuò)建。元末明初（1368年）陳友諒舉事兵敗，其驍將張定邊亦遁于此山削發(fā)為僧，號沐講禪師，于明洪武初年在山腰建新寺。寺分為上下二寺：上名天公案（觀），因常有紫云蓋上，故號“紫云寺”（后毀）；下名靈源寺（即靈源庵）。明永樂七年（1409年），寺左又建一“霽云書院”，一稱朱子祠。正德年間（1506年前后）里人吳東籬，精通堪輿，親自勸募在右邊建尼姑庵舍和夫人媽宮，并筑寺圍墻。為此，寺宇規(guī)模初定。明人蘇浚有《詠靈源庵》一詩寫其形勝：“丹崖玄室倚天孤，一徑遷回萬壑殊，有客入門苔不掃，無僧余法鳥相呼。胸吞渤摟三島，手拍浮丘倒百壺。夜靜鐘聲醒客夢，天花渺渺出仙都。”