日本福知山城最早是由戰國時代丹波武將鹽見賴勝所興建的「龍城」，賴勝後來改姓「橫山」，其子信房繼承後將城改名為「橫山城」。
織田信長派遣明智光秀開始進行丹波攻略後，鹽見家和昔日的敵人黑井城主赤井直正、八上城主波多野秀治聯手一同對抗織田家。不過隨著八上城、黑井城一一被攻破，1579年橫山城也落城，城主鹽見信房自盡。橫山城也正式成為織田家的領地，並由光秀擔任城主。
光秀入城後開始進行城郭大改修，橫山城也是在此時改名為福知山城。光秀進行福知山城的改建時大量使用附近寺廟、墳墓拆下來的五輪塔、石臼、石燈籠等被稱為轉用石的材料興建天守臺。今天的天守臺下方仍能看到這些轉用石，是福知山城建築上的一大特色。
1579年光秀入城後由於必須四處徵戰、經常不在城內，因此派遣藤木權兵衛、明智秀滿等人擔任城代。1582年6月21日光秀發動改變整個日本歷史的大事件本能寺之變攻入京都，信長自此消失於本能寺的烈焰當中，光秀成為主導全日本的「天下人」。但光秀的天下來得快去得也快。本能寺之變後的7月2日，明智軍在山崎之戰中敗給由羽柴（豐臣）秀吉為首的信長舊臣，光秀本人也在逃回坂本城的途中被捕獵「落武者」的百姓所捕殺。
之後福知山城先後由羽柴秀長、杉原家次、小野木重勝等人擔任城主。關原之戰後效忠東軍的有馬豊氏入主福知山城並開始城和城下町的大改修，現在我們看到的福知山城就是完成於這個時期。1621年豊氏移封后福知山城陸續又由岡部長盛、稻葉紀通、松平忠房入主。直到1669年朽木植昌入主後福知山城的城主才不再變動，到明治維新、廢藩置縣為止的200年代代都由朽木氏擔任城主。
1873年廢城令頒布後福知山城開始解體處分的工作，據說許多當時拆下的福知山城城門都移到附近的寺院，改建為寺院的山門。最後福知山城中只剩下二之丸的銅門番所未被拆除。1916年銅門番所被移建於本丸區域，銅門番所也是現在福知山城中唯一的現存建築。
依據古圖福知山城原本有一座三重四階的大天守，北側還有一座二重二階的小天守，兩者之間以一座二重二階的菱櫓聯結。據說這座天守的建築藍圖參考了天下名城安土城，在大天守中還有居住的空間，堪稱小一號的安土城。1973年曾經委託東京工業大學教授藤岡通夫描繪重建設計圖，計劃重建外觀復原的天守，但這個計劃因為遇到石油危機、經費不足等因素，整個福知山城大、小天守和續櫓直到1986年才全部興建完工。完工後的福知山城天守外觀基本上忠實復原了原本的木造天守，當然用鋼筋水泥興建的復原天守內部就不能太苛求了！
訪城筆記：可以到市役所旁邊小山丘上的「伯耆丸公園」拍攝經典角度。