「高涼郡」是高州古時的稱謂。明末清初的歷史地理學家顧祖禹在《讀史方輿紀要》中云：「高涼山，本名高梁，以群山森然、盛夏如秋，故名高涼。」
今人認為：這個高涼山就是今天廣東省高州市曹江鎮銀塘村委會的高涼嶺，高涼郡就是因此而命名的。
史載：高涼郡始建於東漢建寧元年（公元168年），在此之前，稱高興郡（治所有在今化州南部之說）。也就是說，高涼郡的組建只是將從合浦郡分出來的高興郡改變稱呼而已，且治所（即辦公場所）位於今化州市南部，離高涼嶺遠著呢。以那時高涼嶺的名氣，應該還未具備讓一個遠方的郡縣以自己的名字來命名的魅力。因為，即使是今天的高涼嶺，在粵桂邊地區的影響力也都不算太大。在那個交通極不方便的時代，以此山來命名一個郡縣的說法未必準確。
顧祖禹的《讀史方輿紀要》，於康熙三十一年（公元1692年）成書。但此時的高涼郡，已經在封建皇朝的更替中，湮滅了將近1000年的時間。
從另一個角度看，顧的原文可以理解為：「高涼山，因為盛夏如秋，所以稱之為高涼」並不是說高涼郡是因此而得名。
有關資料記載：高涼郡設立之後的郡治，開頭很長一段時間都是在恩平、陽江兩地，後期才遷往高州。
公元前111年（西漢元鼎六年）漢滅南越國，分其地為南海、蒼梧、鬱林、合浦、交趾、九真、日南、珠崖、儋耳九郡，今高州境屬合浦郡高涼縣。
東漢建和元年（公元147年）合浦郡分立高興郡；建寧元年（公元168年）改高興郡為高涼郡，不久廢除。
建安二十五年（公元220年），又分設高涼縣和高涼郡，治所在思平縣（即今恩平市）。這個高涼縣是不是今天的高州，未能查實。
從《中國歷史地圖集》看，三國時期，嶺南屬東吳管轄。東吳在嶺南設立高興郡，治所在思平，思平即今恩平。轄區範圍東起今恩平市的西北部，西達化州，與湛江市接壤；南至南海；北接雲浮、羅定。
到東晉，高涼郡治址遷往安寧，安寧即今陽江。南朝劉宋期間，高涼郡治又回遷思平（今恩平）。
公元528年，南朝梁平定俚洞，設置高州，州治在今陽西縣。
公元530年，南朝梁置電白郡，郡治設在今高州市長坡鎮舊城村，屬高州管治。同時，將羅州縣（今化州）升格為羅州，今高州市西部、西南部屬羅州高興郡；北部屬瀧州（今羅定市）良德郡；中部、東部屬高州電白郡及海昌郡，南部屬高州南巴郡。
陳永定二年（558），置務德縣（隋改稱梁德），縣治在今高州東岸鎮良德圩旁，轄今高州北部，隸屬於瀧州梁德郡。至此，今高州中部、東部屬高州電白郡，南部屬高州南巴郡，西南部、西部屬羅州石龍郡，北部及東北部屬瀧州梁德郡務德縣及高州海昌郡。
公元589年，隋廢電白、海昌二郡，設置電白縣；廢連江、南巴二郡，設置連江、南巴縣，隸屬於高州，治所仍在高涼縣（今陽江西）。開皇十年（公元590年），廢高興郡設置石龍、吳川、茂名三縣，隸羅州管治。今高州市中部、東部屬電白縣、南部屬南巴縣、西部屬茂名縣、北部屬梁德縣。
隋大業三年（公元607年），高州、羅州被廢，復置高涼郡，治所在高涼縣（今陽江西）。當時電白縣（今高州中部、東部屬之）、南巴縣（今高州南部屬之）、茂名縣（今高州西部屬之）屬高涼郡，梁德縣（今高州北部屬之）屬永熙郡（今羅定市）。
唐貞觀八年(公元634年)，以南宕州(今博白縣亞山鎮境內)改稱潘州，治所在茂名縣(今高州市)。貞觀十七年(公元643年)廢。
貞觀二十二年（公元648年），又置高州，始治高涼，後移治梁德。天寶初年（公元742年）改高州曰高涼郡，潘州曰南潘郡。
北宋開寶五年（972），廢潘州及南巴，潘水2縣入茂名縣，屬高州管治。
此後的政權變更，再沒有以高涼為名。
古高涼，是古百越俚、僚土著民族的聚居地。這些人以山洞為家，「俚、僚雜居，居山據險，不肯賓服」，不服從漢人的統治。暴亂事件時有發生。東漢建安元年，交趾俚人，因對官府稅收過重不滿，衝進府衙，將刺史朱符殺死。過後不久，在高要，土人截擊官兵事件又有發生。
據《陽江縣誌》記載：建安十五年(公元211年)，交州刺史步騭統兵二萬南下，在蒼梧郡高要路口，遭蒼梧人衡毅和錢博截擊。衡毅戰死，錢博和部屬逃到高涼，繼續反抗。錢博在高涼一直待了八年。
延康元年(公元220年)，孫權再次派步騭前往徵討，錢博最後投降。孫權為加強對高涼地區的管理，設立了高涼郡 (隸屬廣州)，任命錢博為都尉(首任長官)。這是高涼郡由來的另一種說法。
高涼郡設立初時，管轄的範圍很廣：東起今恩平市的西北部；西達化州，與湛江市接壤；南至南海；北接雲浮、羅定。
如果從三國東吳設立至唐時廢去，高涼郡共歷429年。其中，梁大同元年(535)至貞觀二十年(646)這段時間，是高涼郡最輝煌的歲月。在此期間，受到歷代皇朝煲獎的「中國巾幗英雄第一人——冼太夫人」及其後人左衛大將軍馮盎等，讓古高涼聲名顯赫，極盡輝煌。