在新公布的第八批全國文物保護單位中，宋貝州故城遺址列入其中。貝州故城遺址，在邢臺市清河縣城東、城西村周圍。故城為夯土築成，城址南北長1.2公裡，東西長2公裡，城池呈長方形，至今城垣斷續可見。在故城的北城尚存城垣500餘米，城牆高處達6米多；西北角尚存200米，城牆高4米餘；西南城角尚存200米，城牆高5米餘。1982年貝州故城遺址公布為縣級重點文物保護單位。1993年，河北省人民政府公布為省級重點文物保護單位。
北周宣政元年（587）正月，周武帝「行幸鄴宮。分相州廣平郡置洺州，清河郡置貝州，黎陽郡置黎州，汲郡置衛州；分定州常山郡置恆州；分并州上黨郡置潞州。」到了六月，周武帝崩。這是初置貝州時間，但是文獻中沒有提到築城的信息。從文獻可知，當時的貝州故城應該是利用了原來清河郡故城，在此基礎上設置了一級州級行政府衙門。隋代時，永濟渠的開鑿，貝州城成了泊來的城市得以快速的發展；唐沿隋制，並發揮了大運河的漕運能力，在此設立「天下北庫」。《資治通鑑》記載：開元盛世時期，貝州有物資「布三百餘萬匹，帛八十餘萬匹，錢三十餘萬緡，糧三十餘萬擔」。《顏魯公行狀》中說「國家舊制，江淮郡租布儲於清河，以備北軍費用，為日久矣，相傳為天下北庫」，其「甲杖藏於庫內五十餘萬，編戶七十萬，見丁十餘萬」。江淮錢糧、棉帛、盔甲、兵器等軍用物資和賑災物品都匯聚到此，特別是平叛安史之亂時，天下北庫發揮了巨大作用。可以這樣說，隋唐的貝州物富人多，是運河兩岸不可小覷的中等城市。唐宋時期，貝州城進行了多次的重修，清河舊志記載說，故城為「宋元祐六年監官趙薦之重修」，《地理志韻編》貝州下注，今清河縣治自宋元，趙薦之重修，城周九裡，高二丈，闊二丈。此時的貝州城已經改名為恩州城。
在《元和郡縣圖志》中記載：「貝州，清河。上望。開元戶八萬四千四百。鄉一百七十七。元和戶二萬一百二。鄉三十五。」並敘述了貝州的發展歷史，即貝州處於「《禹貢》冀州之域。春秋時其地屬晉，七國時屬趙。秦兼天下，以為鉅鹿郡。」
漢文帝時又分鉅鹿郡置清河郡，其名因郡臨古青水故號清河，後漢時封清河國。
為什麼又稱之為貝州？是因域內的臨清縣境有古貝丘城，「城內有丘，高五丈，周回六十八步，城因此為名。」為《春秋》「公田於貝丘」所在。故取名貝州。
貝州，歷史地理文獻中記載，「州境：東西二百四十九裡。南北一百九十裡。」「八到：西南至上都一千八百二十裡。西南至東都九百六十裡。南至魏州二百一十裡。正東微北至德州二百三十裡。北至冀州二百一十裡。西至邢州二百三十裡。東至博州一百九十裡。」「管縣十：清河，清陽，歷亭，東武城，宗城，經城，漳南，臨清，夏津，永濟。」「貢、賦：開元貢：白氈。賦：綿，絹。」
在貝州故城的歷史進程中，曾發生過許多重大歷史事件，如貝州之戰、貝州之亂、貝州兵變等等；這裡人傑地靈，還培育了許多望族和名人。
一、貝州築塔
在貝州故城內有隆興寺，原名稱寶融寺，寺內有高高的舍利寶塔，此塔為隋代壽仁年間分送舍利敕建舍利塔之一。
隋代立國之初，隋文帝一改周武帝滅佛政策，成為大力發展佛教文化的轉折點，隋開皇元年（581）至大業十四年（618）共37年間，隋文帝「隋興佛道，變革周風」於開皇三年（583）下詔說「朕欽崇聖教，念存神宇，其周朝所廢之寺鹹可修復」，令各大州邑寺院，「並官寫一切經置於寺內」。在開皇十一年（591），又詔令天下州縣立僧尼二寺。
文獻記載，隋文帝時期，在全國各地建立的寺院共有3792所，天下諸州建舍利塔之風氣極盛。唐道宣撰《廣弘明集》卷十七記載，隋文帝在仁壽年間三次分送舍利並下詔敕天下八十二寺立塔。
《續高僧傳》記載：
「釋辯義。姓馬氏。貝州清河人也。少出家。沉靜寡世事。」「初歸猷論師。學雜心貫通文義。年始登冠便就講說。」「當即驚譽兩河甫為稱首。」「初義仁壽二年。奉敕送舍利於本州寶融寺既達州治忽放光明。寺僧智耀先有舍利九分。將入道場。數之加得十二分。又放光明。隨人緣念色相不同。青紅紫白同時異見。或佛像僧形重沓而出。前後放光日流數度。將入塔夕。復於基上氣發黃紫。去地四尺。填平後夜又放大光。上屬星漢下遍城邑。合境頂戴欣其嘉瑞。」
後寶融寺攺隆興寺，據舊志記載，隆興塔為「磚塔，共12級，計高130尺。」又在宋乾德五年（967）「舉舍利五十二粒、指骨一節置內。」
二、天下北庫
因隋代永濟渠的開鑿，給貝州城帶來了發展機遇，可謂之貝州是一個泊來的城市。
隋代大業四年（608），隋煬帝下詔動員河北各郡百姓開挖永濟渠，利用曹魏時期的舊河渠將淇水、沁水、清水進行疏浚，還利用漢代屯氏河和大河故瀆進行溝通，將漳水與漯水相接，形成了隋代大運河一些河道。當時黃河故道的泥沙很多，很容易堵塞，經常「塞長茭，決沮淤」 「行舟不通」，隋開挖的永濟渠，使古貝州城成為大運河畔重要的節點城市，也成了自隋代至唐代北方重要物資儲存基地，被稱為「天下北庫」。
《新唐書》記載：「國家平日聚江淮河南錢帛於彼以贍北軍，謂之天下北庫。」
有人研究說：當時契丹李盡忠部也舉兵反唐，朝廷多次出師興討。契丹之亂剛平，突厥的默啜又興兵來犯，「欲取河北」。東北局勢緊張，唐朝在河北地區的駐兵也日益增加。到玄宗天寶元年，範陽、平盧節度編制中的兵員共12.8萬餘人，居全國各地軍鎮之首。兵員的增加，其所需物資軍由永濟渠運輸，並在永濟渠兩岸城市存儲。當時的貝州就因其貯集之豐被稱為「天下北庫」，安史之亂爆發時，倉庫仍有為裝備「北軍」而儲備的租布300餘萬匹及為徵討默啜而運至的「甲仗」50餘萬件 。
三、貝州之戰
唐代貝州之戰有兩次。
唐天寶十五年（755）安祿山叛軍南下。常山太守顏杲卿固守真定抗擊叛軍，平原太守顏真卿殺了叛將段子光，徵討叛軍。當時貝州將領李萼，年僅20歲，膽略過人，與顏真卿聯合，共同抗敵。顏真卿從平原郡抽調6000士兵，編入清河部隊，又採納李萼的建議，由李萼率兵堅守黃河沿岸，在魏郡（今河北大名）與安祿山短兵相接，大勝並收復了魏郡。不久，唐將李光弼收復常山郡，又與朔方節度使郭子儀合兵大敗叛軍，河北諸郡紛紛響應。唐至德元年（756）十月，郭子儀和李光弼，從河北戰場西進山西、陝西。史思明攻佔河北大部分郡縣。第二年郭子儀組織唐軍反擊叛軍，奪回貝州城。
第二次為唐興元元年(784)，是澤潞節度使李抱真與恆、冀、深、趙四州節度使王武俊連兵救魏州（治貴鄉，今河北大名北），在貝州（治清河，今河北清河西）大敗範陽節度使朱滔軍，粉碎朱滔南下與朱泚合兵反唐的一次重要作戰。
貝州兵變
王則（?-1048），涿州（河北涿縣）人。是北宋仁宗時河北士兵起義領袖。因災荒落貝州（河北清河西北），賣身為牧羊人。後投宣毅軍，升為小校，參加彌勒教，習五龍、滴淚等經。計劃在慶曆八年（1048）元旦起事，因事洩露。提前於慶曆七年（1047）冬至日在貝州發動兵變，捕知州張得一，他被推為東平郡王，建國號為安陽，年號得聖。戰士面刺「義軍破趙得勝」字樣。次年，宋廷派明鎬、文彥博率重兵圍攻，後城陷，王則被俘解至東京（河南開封），遭肢解而死。
四、貝州屠城
劉仁恭，原為盧龍節度使李可舉旗下將領，唐僖宗光啟元年（885）在盧龍攻易州的一場戰役中，以挖地道進城的方法攻陷城池，因此綽號「劉窟頭」；當時河北地區以晉王李克用與朱溫進行對抗，劉仁恭歸順李克用，藉機當上盧龍節度使。不久與李克用反目割據幽州。光化二年（899）劉仁恭驅燕軍十萬進攻山西、河北等地；攻陷貝州城，並將貝州搶掠一空，把城中百姓斬盡殺絕，《新唐書》劉仁恭傳記載說：「次貝州，屠之，清水為不流。」
五、貝州名人
貝州名人眾多，湧現出很多名人，如我國歷史上第一位狀元孫伏伽，唐相張文瓘，詩人張祜，宋代學士丁度，貝州宋氏姐妹等等。
孫伏伽 唐高祖武德五年（622）壬午科進士及第，為唐代第一科狀元，也是我國歷史上第一位狀元。孫伏伽約於南北朝末至隋開皇初年，生於貝州武城（今河北省衡水市故城縣）的一個書香門第。自幼飽讀詩書，滿腹經綸，深諳治國之道，立志報國，懷有遠大的政治理想抱負。當時大隋王朝為了維護自己的統治，非常重視人才的選拔任用。於隋煬帝大業三年（607），開設了我國歷史上第一次進士科（當時未設狀元）的科舉考試。孫伏伽見出頭的時期已到，就滿懷信心的進京趕考，一舉成名。高中進士之後，步入仕途，歷任大理寺史、尚書令史、萬年縣法曹。
當地傳說，故城縣西半屯鎮雙屯村北邊現存的雙冢是孫伏伽墓。2015年已在雙冢中間修了廟宇，每逢元宵節附近居民、周邊商賈會前來祭拜。
丁度，字公雅，於北宋太宗淳化元年（990），出生於貝州清河縣（今清河縣）。丁度從小受家族影響，博覽群書。他聰明好學，愛讀《尚書》，善作詞。宋真宗大中祥符年間，通過詞學考試被錄用而步入仕途。先分配到大理寺任評事，後任太子中允，教太子禮儀，代起奏章。不久，又調吏部南曹。仁宗初年，為翰林學士知制誥，慶曆六年(1046)，升任樞密副使、參知政事。慶曆八年(1048)，改任觀文殿學士。後晉升尚書省左丞，總領吏、戶、禮三部事務。死後追贈吏部尚書，諡文簡。丁度一生建樹亦多，深受宋仁宗器重，嘗稱丁度為「學士」，而不直呼其名。人們為懷念丁度，流傳著「丁學士死後為芙蓉城主」的傳說。蘇東坡詩：「芙蓉城中花冥冥，誰與主者石與丁」