小湯山是京北重鎮，素有「溫泉古鎮」之美稱，西北距昌平衛星城東南10公裡，南距亞運村17公裡，東距首都機場16公裡，總面積70.1平方公裡。小湯山具有地熱資源豐富的自然優勢。因此處山丘較小，僅有海拔50.1米高，且山麓有溫泉，古人稱熱水為「湯」，故名小湯山。
老作家孫犁在《陋巷集》中曾收錄了包括《小湯山》在內的三篇憶舊短章的。文中提到「小湯山屬昌平縣，是京畿的名勝之一，有一處溫泉，泉水形成了一個不小的湖泊，周圍還有小河石橋等等景致。在湖的西邊有一塊像一座小平房的黑色巨石，人們可以上到頂上眺望。湖旁有一些殘碣斷石，可以認出這裡原是晚清民初什麼闊人的別墅。解放以後，蓋成一座規模不很小的療養院。」寥寥數筆，勾畫的是半個世紀前的小湯山。
小湯山在北京的正北方向，與故宮、天安門同在皇城中軸線上，這條路從安華橋和安慧橋出來，徑直向北。民間有一種說法，這條路是北京的龍脈。龍的脈氣依靠一股暖湯從古延續至今。
據考證，小湯山在地質歷史上曾是一個湖，在白堊紀時期，由於地殼的大規模運動，湖水被覆蓋並封閉於地下，由於受板塊擠撞形成高溫高壓，歷久而成今天著名的小湯山溫泉。由於成因上有別於一般地熱和巖漿形成的溫泉，因此小湯山溫泉水質甘甜秀美，淡黃清澈，與一般顏色混濁，帶有硫磺味的溫泉水截然不同，故享有「一盆金湯」的美譽。南京的湯山溫泉和北京的小湯山都屬中國四大溫泉之列，不知二者是否有兄弟親緣。不過大、小湯山自然是名副其實的，因為漢字的「湯」裡就有一義就是專指「溫泉」。小湯山之所以被讚譽為「溫泉古鎮」也不是沒有道理的。傳說中遼代蕭太后曾留香於此，元代小湯山成為皇家的御用園林，明清時期闢為封建帝王的宸遊禁地，乾隆在小湯山修建了湯泉行宮，「行宮聽政」的佳話由此流傳。至今，小湯山依然保留著那拉氏慈禧浴池的遺址和乾隆皇帝御筆「九華兮秀」，據說北京最有名的一處「泡湯」之地—九華山莊就是得名於此。
小湯山這地方，山水合一，說不上美輪美奐，可是有空氣的新清，有景色的鮮靈，有情感的溫潤，原也是躲避喧囂，一洗都市塵埃的絕好地方。而人們渴求健朗、安詳的生活，古今亦然，也因此小湯山以及他的溫泉會沿著這條龍脈繼續流傳。關於它的水為什麼熱，這裡也有個傳說。
老輩人說，從前在秦始皇修建長城的時候，天上的太陽特別辣，把大地曬得像開鍋似的，什麼東西都不長，人更受不了，要七天七夜才能睡一次覺。修長城的人累得筋疲力盡，曬得死去活來，病的病，死的死。狠心的秦始皇不管死活傷病，一股腦兒將他們都給埋在了長城下，連屍首都找不到。這事後來驚動了二郎神。
有一天，二郎神站在山頂上，往下一瞧，嘿！下面的人群像螞蟻一樣，挑石頭的，抬土的，拉成一長趟，呼哧呼哧直喘粗氣，走一步就要摔一跟頭。有個老頭，剛慢了幾步，監工的就過來「叭叭」幾鞭子，把老頭抽得再也站不起來了。二郎神實在忍不下去，就變成個老頭，來到監工的跟前，對他說：「天這麼熱，活兒這麼緊，你幹嗎還要打他們？不能叫他們歇會兒再幹啊！」
監工的瞧了瞧老頭，哇哇叫起來：「讓他們歇著？讓他們歇著，誰給我抬這個！」他惡狠狠地指著石頭和土堆說道。
二郎神看看他那副兇相，再看看那些石頭和土堆，說：「你叫他們歇著吧，我來挑！」
監工的把眼一瞥，心想：你倒挺心善，你這個老頭子，都快要走不動了，你來挑不是自找苦吃嗎？於是兇道：「好，你挑吧，要是挑不動了，我就宰了你！」
二郎神說：「你得叫他們歇著！」
監工的沒辦法，就站在一塊高大的石頭上喊：「你們都去趕緊歇著，一會兒好給我賣力氣幹活！」
大家聽到這話，都鬆了口氣，趕緊坐下休息。
二郎神拿起扁擔，把山戳上窟窿，穿上擔起來，腳下踩著白雲，走來走去，不一會兒的工夫，就把一座座山給挑走了。這時，二郎神拿起鞭子，看看天上，對準那個大太陽，使勁地抽啊抽，只見那太陽裡分出兩個大火球，跟兩個小太陽似的。二郎神就把這兩個新出來的小太陽趕啊趕的，一個被趕到「湯泉」這個地方，還有一個就被趕到了北京小湯山。
從此，這兩個地方成了北京著名的溫泉聖地。