玉泉山毗鄰頤和園，遙看香山。六峰連綴、逶迤南北，是西山東麓的支脈，在「山之陽」，它最突出的地方是「土紋隱起，作蒼龍鱗，沙痕石隙，隨地皆泉。」山勢為西北走向，狀如馬鞍，縱深1300米，東西最寬處約450米，主峰海拔100米。山中奇巖幽洞，小溪潺潺，流泉活水。自古，就有風水寶地一說。
明初王英有詩形容:「山下泉流似玉虹，清泠不與眾泉同」。這座山也因此稱為「玉泉山」。
玉泉是水，水的源頭在山上，山因泉得名。
因這裡的泉水「水清而碧，澄潔似玉」，故此稱為「玉泉」。明代的宮廷用水，皆從玉泉運來，並成為民間用水泉源之一。
泉水自山間石隙噴湧，水卷銀花，宛如玉虹，明代以前便有「玉泉垂虹」之說，列為燕京八景之一，為元、明以來京郊有名的風景遊覽地。
玉泉山的水質，甘冽醇厚，天下聞名。相傳到了清朝，乾隆皇帝常到此處觀景。最懂享樂、最有生活情趣的乾隆皇帝還一門心思想弄清楚到底是哪兒的水最好，於是收集天下名泉的泉水來與玉泉山的泉水「PK」。
過去，人們常以水之輕重衡量水質，認為水「質貴輕」，「重者劣」。歷代古人多以江西廬山谷簾水或長江金山水為第一。乾隆為了評判天下各泉名水優劣，令內務府制銀鬥測量，其結果是：濟南珍珠泉鬥重一兩二釐；長江金山水一兩三釐；惠山虎跑泉水一兩四釐;平山水重一兩六釐；涼山、白沙、虎邱、碧雲寺諸水重一兩一分，只有玉泉、伊遜兩地之水重一兩，水輕質甘氣美。從此，玉泉水定為清宮專門飲用之水。乾隆親題「天下第一泉」碑，並做詩：功懲無雙水，名稱第一泉。
用玉泉山泉水灌溉的「京西稻」至今都是名貴大米。元代宰相耶律楚特用玉泉水制墨，命名「玉泉新墨」，也是上等佳品。
據說乾隆皇帝遊江南時，專門用車運玉泉水，供路上飲用。但到了濟南，一嘗趵突泉的水，認為比玉泉水還要清冽甘美，就把天下第一泉的美名又賜給趵突泉。並從濟南開始往南，改用趵突泉水。
乾隆非常喜歡玉泉山的風光，對園內景致親自定為「十六景」，每景以四字命名，並各題詩一首，「十六景」名為：廓然大公、芙蓉晴照、玉泉趵突、竹壚山房、聖因綜繪、繡壁綜繪、溪田課耕、清涼蟬窟、採香雲徑、峽雪琴音、玉峰塔影、風篁清聽、鏡影涵虛、裂帛湖光、雲處鐘聲、翠雲嘉蔭。
今天所能看到的只有「玉峰塔影」了，它也是頤和園借景造園的點睛之筆，在頤和園的任何一個角落，都可以遠眺玉峰塔。
乾隆雖然給十六景命名，但他認為：玉泉山蓋靈境也。雖亭臺點綴，時有晦明；而山水吐納，嵐靄朝暮，與造物相始終。故一時之會，前後迥異；一步之移，方向頓殊。吾安能以十六景概之。
玉泉山是封建帝王的御園，沒有皇帝特別恩賜，即使是朝廷大臣，也無法入內。乾隆年間，曾賞賜大學士、尚書等十餘人隨遊玉泉山。胡廣曾作詩：玉泉之山下出泉，泉流樹色鏡中懸;卻帶西湖連內苑，直下通津先百川。朱日藩曾詩曰：笑指蓬萊石，春桃幾樹花；仙潭馴白鹿，童子戲金沙；一榻居士室，三車長者家；憑君磨素壁，重過賦青霞。
玉泉山由於倚山面水，而距中都城不遠，所以在公元十二世紀末，就被統治者看中。相傳金章宗曾在這裡建有玉泉山行宮、芙蓉殿。到元明以來，也都成為皇帝遊幸避暑之地。十三世紀末，元世祖忽必烈在這裡建成昭化寺；明英宗年間，建有上下華嚴寺等。清康熙十九年(1680年)將原有行宮、寺廟翻修擴建。康熙三十一年，將原先「澄心園」改名為「靜明園」。
規模壯麗的玉泉山靜明園成為「三山五園」之一，而名揚四方。1860年英法侵略軍將這裡破壞，清光緒年間，又重新得到修復。