邵陽市區有個五層石塔，塔尖上有個猴子，這就是被稱為「五層第一峰」的猴子塔。據說，這隻猴子以前是活生生的，一到大年三十半夜，大叫三聲，它叫時面朝哪一方，來年那個方向一定會五穀豐登，六畜興旺。後來為什麼變成石殘子呢?
清朝光緒年間，海禁大開，寶慶城裡來了一個高鼻碧眼的洋人，說是來傳教的。合城官員把他看作親爹娘一樣，三日一小宴，五日一大宴，轎來轎去，遊山玩水。這天來到五層第一峰，下得轎來，幾個差子把他扶上峰頂。他四下一觀，看見一根石筍子上一隻猴子，腦門上有三根猴毛放出毫光，嘴裡圓鼓鼓的含著東西。他歡喜得手舞足蹈，喝退差胸子，三步當作兩步，向石筍子奔去。突然，猴子張口一叫，一道金光象利箭一樣向他射來。他一骨碌滾下山來，跌個半死。差狗子七手八腳把他抬回府去。
這洋鬼子養好傷，賊心不死，他認定猴子口裡含著寶貝，非要掠為己有不可。他夜晚一個人偷偷摸摸爬上峰頂，遠遠地圍著石筍轉了幾圓，看清子口裡確實有顆光彩四射的珠子，想個什麼辦法要它吐出來呢?想來想去，猛然想起猴子是愛吃水果的，眼下李子園的李子不是熟透了嗎?於是，他面見府臺，要五百擔李子急用。知府怕得罪洋大人，問都不敢間，照洋人的吩咐，將李子園的李子摘個精光，一擔一擔地送到五層第一峰上。
第二天清早，洋人換了新衣，將轎停在山下，命差狗子趕走眾多百姓，他一個人走上峰頂，大把大把地將鮮紅的李子丟在猴子面前。丟來丟去，眼看日落西山，李子丟得剩一把了，猴子還無動靜。洋人發起急來，把最後一把李子朝猴子面上打去。只聽一聲嚎叫，四方八面，山山呼應，験子跳下石筍，張口吃李子，球子掉在地上，映紅了半邊天。洋人大喜，去搶珠子。
山腳下的老百姓看見洋人要搶寶，一個個氣往上撞，不顧差狗子的攔阻，蜂酒面上。那猴子剛將一顆李子放在口中，被這麼多的人嚇慌了，又躍回石算。一聲巨響，說也奇怪，那石筍飛起來，將洋人和珠子壓在下面，石算變成了石塔。石猴蹲在塔上面，從此再也不叫了，再也不動了，只是口裡含著那顆李子。