隴西城的中心地段，人稱鼓樓哈，源於此地有一巍峨聳立的鐘鼓樓。
這個古樓有多高，老人傳下來的古今（故事）是這樣說的。某年某月的某個冬天，有三個甘省老鄉偶遇於漢中一個私人旅店，時值嚴冬，雪花如席，滴水成冰，不宜出門，三人圍坐在店裡小炕談古論今。都是生意人，見多識廣，聊的甚是投機，一人提議說遇到一起就是個緣分，何不打二兩酒，來一碟花生米，其餘二人積極響應，隨湊了份子錢，把酒敘歡，親如同胞，哥長弟短。不覺日落西山，店家掌燈過來，告誡道，出門在外，不要喝醉誤事，早點歇息，免得熬燈費油，我去給你們填炕。三人標間，只有一個炕，店家怕費柴禾，只在炕眼門處煙燻火燎。店家的炕，死煙槓（冒煙），屋內煙霧繚繞，三人鼻涕眼淚流個不止，加上夜幕降臨，天也越來越冷，酒也醒的差不多了。本來喝的就不多，三人喝了一斤酒，那個還頭不住半斤，議論著各人的酒量，夾雜著苦苦的咳嗽聲，爭論著。不一會兒，煙散去了，炕應該熱了，用手一摸，只有窗根裡熱著屁股大的一塊。問店家，說炕洞填的滿滿的，睡一會就滿炕熱了。大家都無語了，怎麼睡，出得店錢一樣多，誰都不願意睡冷處。划拳定吧，誰贏誰睡窗根，這太傷兄弟感情了，不如這樣，文明點，各自說一個家鄉的東西，誰說的最高，誰就睡熱處。武山有個尖山兒，離天爺還有一錢兒，快人快語，說罷就要倒頭便睡，天爺最高。另一個趕快扶住說，隴西有個鐘鼓樓，半截子戳著天裡頭，便捷足先登，佔領了寶地。剩下的一個酒還未完全醒，自言自語道，漳縣有個鹽呱呱，熱裡冷裡爬求子哈。……
這個鐘鼓樓，官名叫威遠樓。始建於北宋仁宗年間。孟卜有詩讚曰：「韓公安撫來秦風，威遠樓築在渭濱，憑眺自看西土月，旌旗已靖朔方塵。」 皇佑四年，出於加強武備，韓琦在城東一裡處建一樓，起名威遠樓，是威震遠方之意。到了元初，汪世顯父子擴建城垣時，將威遠樓移建城中。公元1341年，官府把計時的銅壺滴漏及報時的更鼓置於樓上，因此俗稱鼓樓。 明初，因樓木朽敗，施工重記建。首先砌一巨型磚墩臺基，臺基之上架木構築高樓，其外觀更加雄偉，故改名為「雄鎮樓」。高懸「鞏昌雄鎮」、「聲聞四達」巨匾。清康熙55年加以擴建，改修為磚基三層木構樓，成為現今模樣。並將公元1102年所鑄銅鐘移置樓上，擊之聲聞四達十餘裡，俗又稱鐘鼓樓。威遠樓至今有900多年歷史，經歷代維修和擴建，現威遠樓為磚基三層木樓，基座高11米，長27米，寬17米，樓高15米，通高26米。一樓有廊柱24根，三樓均為正面飛簷，簷下鬥拱彩繪102朵，樓內梁架扶持制約，結構緊密，垂脊獸頭，昂首高蹲，戧脊套獸，栩栩如生，為隴西一雄偉建築。
據說清道光十六年(公元1836年)，地方官紳要把重達4噸的銅鐘移到樓上，但由於樓基高10多米，誰都束手無策，一衣衫襤褸的老農夫在一旁冷笑。郡守見狀便問老農莫非有什麼好法子。老農不冷不熱地回答：我已是土壅到脖子上的人啦，還會有什麼好法子。郡守聞言，恍然大悟，急令人運土堆積，大銅鐘沿著土坡緩緩運到了樓上。此鍾現還懸掛於威遠樓上，為國家一級文物。
1920年12月16日的寧夏海原8.5級大地震，波及到隴西當地，堅不可摧的威遠樓基座居然裂了一條3寸寬的口子。後來有高明的匠人在裂縫上打了幾顆大螞蟥釘，奇怪的是那裂縫竟慢慢地合上了。威遠樓至今還可以看見那幾顆螞蟥鐵釘。
威遠樓匾額，是古郡文化的象徵，原來東南西北各有一塊，前後「鞏昌雄鎮」、「聲聞四達」，左右「南安福地」、「威遠名樓」。現僅存兩塊，這兩塊是莫建成先生巧施妙計，把膠合板訂在上邊，美術字寫成毛主席萬歲和共產黨萬歲才得以保存下來的。左宗棠書「南安福地」和楊萬炳書「威遠名樓」不知哪裡去了。