留余山居原位于南高峰北麓，為清代著名的園林景觀。據(jù)史料記載，由六通寺沿小徑而上，樹(shù)木草叢中，奇石林立，不可名狀。有一泉從石壁下注，高有數(shù)丈，飛珠噴玉，直落崖石，水石相擊，聲若琴音。山居即在泉旁，由泉左攀登至頂為樓，名“白云窩”，樓西為臺(tái)，可供眺覽，名“流觀臺(tái)”，臺(tái)下有堂三間。清乾隆二十二年（1757），乾隆帝到此游覽，賜題“留馀山居”四字為額，此名流傳至今。山居旁另建有江亭、聽(tīng)泉亭（為乾隆御題西湖二十四景之一）。2004年，在原址附近按古籍記載的留余山居布局復(fù)建該景觀，沿用留余山居舊名。同時(shí)溝通水系，堆疊假山，重新添置楹聯(lián)匾額，營(yíng)造舊時(shí)景觀。

　　在南高峰。清《湖山便覽》卷八：“在南高峰北麓，由六通寺循仄徑而上，灌木叢薄中，奇石林立，不可名狀。山陰陶驥疏石得泉，泉從石壁下注，高數(shù)丈許，飛珠歕玉，滴崖石作琴筑聲，逐于泉址結(jié)廬，輔以亭榭，由泉左攀陟至頂為樓，曰‘白云窩’，樓西為臺(tái)，以供眺覽，曰‘流觀臺(tái)’。臺(tái)下洞壑窈窕，稍得平壤數(shù)弓，為堂三楹。乾隆二十二年圣駕臨幸，賜題‘留余山居’四字為額。”《西湖新志》卷二：“有望湖樓、江亭、聽(tīng)泉亭諸勝�！苯褚巡淮�。