遠古時候，寶豐觀音堂這個地方沒有觀音堂。可是這裡青山逶迤，景色秀麗，水草豐茂，樹木蒼翠，山花映笑，泉涓涓而始流，雲無心而出岫，鳥倦飛而知還，雞犬相聞，屋舍儼然。
老百姓日出而作，日暮而息，怡然自樂，與世無爭，人們世代在這裡辛勤勞作，生息繁衍，好一派田園風光，世外桃源。
這樣的日子不知道過了幾世幾年，人們倒也相安無事。可天有不測風雲，據傳說，有一次這裡遇上了連年大旱，顆粒無收，百姓餓殍遍野，慘不忍睹。人們無奈只好焚香祭拜天宮，祈求上蒼降下甘霖。
玉皇大帝知道以後，便派觀音菩薩到民間訪查災情，並要廣布恩澤，救萬民於水火，解百姓於倒懸。
觀音菩薩領命之後，按下雲頭仔細察看，只見眾百姓個個面帶飢色，氣若遊絲，東倒西歪，忍不住慈心大發。
心想，怎麼能為老百姓送一些既充飢又解渴的東西呢？就不由自主地低頭撫耳思考，同時又看到自己身著素白，便把二者結合起來，靈機一動便自言自語地說:白玉木（摸）耳!此物可解眾生饑渴，何不用此物救萬民於水火!於是把拂塵輕輕一揮，口中念念有詞，頓時，漫山遍野白玉木耳如雪花飛舞，從天而降……
眾百姓看到天降神物，潔白如玉，爭相食用，食用後感到清香脆滑，美味可口，頓覺神清氣爽，精神倍增，知道是菩薩有意恩澤，眾人千恩萬謝，感恩戴德。
災情過後，有人提議修建觀音廟，來敬奉救苦救難的觀音菩薩，人們積極響應，就在河邊集資修建了一座觀音廟。
久而久之，這裡不僅有座「觀音堂」廟，人們還在附近建起了房屋、村莊，地名也演變為紀「觀音堂」了。