在很多人的印象裡，關羽是一位忠義仁勇，手持青龍偃月刀的武將形象。在三國中，關羽與劉備三結義出場，跟隨劉備顛沛流離，東奔西跑。在十八路諸侯討伐董卓時，關羽溫酒斬華雄，三英戰呂布。
劉備在徐州兵敗，在曹營約三事降漢不降曹，為曹操解白馬之圍，斬顏良、誅文丑。知道劉備蹤跡以後，千裡走單騎，過五關斬六將，斬殺蔡陽兄弟，三兄弟便在古城聚義。赤壁之戰後，不忍心殺害曹操，將曹操放走。
劉備稱帝以後，關羽為五虎上將之首，領兵攻取襄陽的時候，水淹七軍、斬龐德，擒于禁，打樊城時，被毒箭暗算，刮骨療傷。後來呂蒙白衣渡江偷取荊州，偃城被徐晃奪走，關羽腹背受敵，最後敗走麥城。
關羽去世以後，逐漸被神話，民間尊其為「關公」，到了清朝雍正三年（1725年），雍正下令，以關帝廟為武廟，併入祀典，文武百官、老百姓都要按照祭孔之太牢祭儀進行春秋兩祀。關羽的地位達到了和文聖孔子並駕齊驅的地位。
兩千多年來，有「當時義勇傾三國，萬古祠堂遍九州」的說法，人們為了敬仰緬懷關羽，關羽的廟宇遍天下，五洲無處不焚香，據不完全統計，現在世界上有30多個國家和地區建有關帝廟3萬多座，然而唯獨徐州呂城沒有修建關帝廟。
呂城鎮位於長江中下遊南岸，江蘇省丹陽市東部，是丹陽四大古鎮之一。根據清朝的史料記載，呂城是沒有關帝廟，在呂城有兩座廟，一座郭子儀廟，另一座顏良廟。呂城為何不建關帝廟呢？
清朝詩人袁枚在《子不語》中記載：「在呂城的五十裡內都無一間關廟，相傳該城為呂蒙所建，至今呂蒙為該地的土地。一旦有人建起關廟，每夜就必有兵戈角鬥的聲音，所以居民都互相勸誡，勿建關帝廟。曾有一卜者行至該城，借宿在土神廟中，夜間忽然雷電交加，屋瓦皆飛直至午夜。居民都不知何解，後來，各人都見到卜者所蓋的，原來是一面畫有關帝的布旗，所以土地驅逐卜者，不許在呂侯廟中借宿。」
這是袁枚在《子不語》裡面的記載，不建關帝廟的主要原因，還得從建安五年說起。建安五年（200年），袁紹、曹操在官渡開戰，沮授勸袁紹：「顏良性子急不能單獨任用，」但是袁紹以顏良進攻單獨守護白馬的劉延。
面對這個形式，曹操的謀士荀攸建議，假裝在延津渡河，做出襲擊袁軍的姿態，在奔襲白馬，攻其不備。曹操聽從荀攸的建議，袁紹果然分兵向西，挺進延津。曹操便引兵向白馬疾進，顏良大為震驚，倉促迎戰。
曹操派張遼和關羽為先鋒，兩軍交戰的過程中，關羽望見了顏良乘的戎車。在張遼軍隊的掩護下，關羽衝到顏良身邊，在萬眾之中斬殺顏良，又拔出腰間佩刀斬其首級而歸，袁軍諸將都不能抵擋關羽，袁軍大敗潰散，白馬之圍逐遂解。
徐州呂城當地都是顏良的後代，關羽殺死了他們的祖先顏良。所以在離祭拜顏良的廟宇十五裡之內，不準設置祭祀關羽的寺廟的這種禁忌。在紀曉嵐的《閱微草堂筆記》就記錄了這樣一件事情，當地的縣令不遵守，下令在顏良廟的廟會上。
非得讓演員演一場三國演義的戲劇不行，自己親自觀看，結果當天戲劇剛上演不久，突然颳起一陣狂風，致使臺上的演員因狂風而引起以外死亡，之後離顏良廟宇十五裡的地方，發生了因瘟疫的傳染使當地人和家畜去世的現象。從此以後，呂城成了全國獨一份，沒有修建關帝廟的地方。