「日本刀」的形態，從平安後期，經過鎌倉、南北朝、室町、安土桃山、江戶初期，中期，幕末的推移，出現了很大的變化。
主要表現為從直刀到彎刀的的轉變，直刀適合砍劈，彎刀適宜劃割 ，之所以出現這樣的轉變，有論者認為可能是受蝦夷（愛奴人）的影響 ， 或是戰鬥形態變遷造成 。從平安末期開始，刀具形制便逐漸改變。
鎌倉時期中期因為元日戰爭，日本刀因為戰備大量製作，偶有佳作產生，亦後世所稱的名器名物，同時制刀風格也開始活躍。 日本刀的製作，從平安後期到鎌倉時代，出現了大和國，備前國，山城國，相模國，美濃國五大中心、各地名匠輩出。
古來日本稱之為「刀」，「日本刀」一稱最早來自外國對日本稱法。
日本古墳時代中期（200年－771年）已經出現鐵製刀劍，當時的原料以煉鐵為主。譬如崎玉具的稻荷山古墳和島根具的造山古墳都有鐵劍出土。從稻荷山古墳出土的「金錯銘鐵劍」製作於公元471年，是為紀念服侍雄略天皇的功績而作，刀上刻有115個漢字。這個時代的刀劍多已銹蝕。
平安時代末期之前的刀劍被歸類為「上古刀」 ，刀形有別於現在常見的日本刀，或為直刃，或帶雙鋒。上古刀極為罕見，是重要的考古材料。
日本刀起源自日本本土的蕨手刀，屬於日本原創，其發展歷程：蕨手刀（彌生時代末，古墳時代-平安時代初期）——毛拔形蕨手刀——毛拔形太刀——太刀——太刀，打刀，肋差，短刀。
7－8世紀以後的刀劍保存比較完整，有名的有四天王寺的丙子椒林劍與七星劍，正倉院的金銀鈿莊唐大刀等，有人認為這些刀劍多為中國，朝鮮的舶來品。日本對於中國，古來印象最深乃唐朝，於是「唐人，唐草」等說法不一而足。
到後來只要是海外舶來品，都被稱為「唐xx」，並非專指唐朝，對於朝鮮舶來品，也稱為「唐」╳╳， 當然無庸置疑的，不可能來自唐朝，證據就是模仿唐刀而鑄造的柄子椒林劍，此劍於丙子年鑄造因此以丙子為名，然而丙子年是公元616年，此時的唐朝尚不存在，因此日本刀源自於唐刀(唐朝陌刀)的說法，只是穿鑿附會的謠傳。
歐陽修曾寫下了一首名為《日本刀歌》的詩
昆夷道遠不復通，世傳切玉誰能窮。
寶刀近出日本國，越賈得之滄海東。
魚皮裝貼香木鞘，黃白閒雜豎與銅。
百金傳入好事手，佩服可以禳妖兇。
傳聞其國居大島，土壤沃饒風俗好。
其先徐福詐秦民，採藥淹留丱童姥。
百工五種與之居，至今器玩皆精巧。
前朝貢獻屢往來，士人往往工詞藻。
徐福行時書未焚，逸書百篇今尚存。
令嚴不許傳中國，舉世無人識古文。
先王大典藏夷貊，蒼波浩蕩無通津。
令人感激坐流涕，鏽澀短刀何足雲。
詩中，記錄了關於日本刀的一些情況，當時的中國人已將之稱為寶刀，有越地（今中國華南地區）的商人專為購刀而前往日本，並從美術角度描繪了日本刀的外形和樣式。由此詩可看出日本刀在平安時代後期，鎌倉時代初期時已經成被外國認可、並成為日本的輸出產品之一。
明清之時，稱日本刀為「 倭刀」，成為持刀步兵的主武器之一(另一種是樸刀)。明朝中期開始成為制式兵刃，名將戚繼光就是以此刀與倭寇、盜賊對戰，因此時稱「戚刀」，戚繼光也是首次讓步兵持倭刀與敵人作戰的將軍，明末的南明也是作為制式武器。
鄭成功因出生於日本，自幼便學習日本刀法，所以，明鄭軍（鄭成功的軍隊）步兵都是持倭刀作戰，也透過與日本貿易取得大量的兵器，用以對抗清朝，直到明鄭末主鄭克樉降清之後。步兵仍是以持樸刀為主，只有部分的護衛兵士會使用。日本刀更是影響中式刀械的工法，現今發現明清時期的佩刀外觀與日本刀類似，被稱為「腰刀」。
日本刀按時代劃分
上古刀 ：通常不列入日本刀之列，指的是古刀之前的刀。以直刀為主，大刀等偶爾可見刀反。
古刀 ：指慶長以前的日本刀。室町時代中期以前主要是太刀。
新刀 ：慶長以後的刀。
新々刀 ：依據水心子正秀提倡所製作，使用古刀鍛造法的刀，另有諸說，概指18世紀末到19世紀初，幕末時期的日本刀。
現代刀：也有諸說，概指1876年日本頒布廢刀令以後所制刀。
昭和刀 ：作為美術刀劍的日本刀範疇外的一種，是主要用於軍刀的兵器用刀。有多種製法。
試刀：用罪犯試斬
1797年，柘植平助方理著成了刀劍學經典《懷寶劍尺》一書。提出刀劍應該以其切割力作評判標準。方理按照切割力分類為四個等級。
最上大業物 ：即能夠切透九成至整體的人體厚度的刀劍。
大業物 ：表示能夠切透七至八成的人體厚度。
良業物 ：表示能夠切透五至六成的人體厚度 。
和業物：表示能夠切透兩至四成的人體厚度。
由此還出現了專業的試刀者，試刀者大致可以分為 生試；即切割活人， 死人試 ；即切割屍體， 堅物試 ；即硬物切割三種。
除業物分類法外，還有人將屍體疊在一起測試刀劍能夠一次過砍斷多少層。能砍斷一層的稱為「一胴」，兩層的 稱為「二胴」，如此類推。結果都不會超過「三胴」。不過，據記載曾經出現過「四胴」甚至「七胴」的寶刀。經過試刀的日本刀通常會在刀莖上銘記如「某年某月於某處切斷什麼或斷幾胴」等內容，此舉類似一種品質保證。
佩刀
古代日本只有武士才能佩長刀，通常會把刀刃朝上，一般平民是無權使用的（但是可以配帶脅差）。
武士佩刀一長一短，長刀為太刀或是打刀，短者為脅差，兩把刀使用上有分野，長刀是主武器，脅差是備用武器，是在長刀損壞時，才使用的，平常不會使用。按習慣武士出門之前，先會將脅差插在腰帶裡，然後用右手提著刀，走到門口的玄關處穿上鞋子以後，才再將刀插在腰帶裡。
刀佩帶在左腰，是為了方便以右手拔刀。短刀除外，尤其是為配合盔甲的 短刀。此外，武士以自己的刀為榮耀，碰撞武士的刀鞘，會被視為不禮貌。這也是為什麼日本人行走都是靠左邊。而且刀佩帶左面，即使兩個武士在狹巷相遇，他們的刀鞘也不會互相碰觸。
武士到人家中探訪，也會先在玄關把刀解開，然後用右手提著，再進入屋內。用左手提刀進入屋戶表示可以隨時用右手拔刀，是不信任的表現。除非有合理的原因（左撇子），否則也會被視為不禮貌。
在明治維新中，日本政府實行廢刀令，武士不能再公開攜帶刀劍，只有皇室成員、前各藩藩主（大名）、軍人和警察才能攜帶刀劍。在太平洋戰爭中，日軍大量使用軍刀，令日本刀再興。可是二戰敗後，盟軍大量沒收日本刀，令日本刀進入歷史。