年代久遠和資料缺失，要想完全弄明白劍道的起源有一定難度。在古代的日本，研究劍要追溯到人們剛剛開始使用 「太刀」，「太刀」是與劍類似的兵器，在古代的一些神話和傳說中，與刀劍有關的記述很多，後來宗教興盛起來，刀劍與其他幾種神器合在一起被放置到神社的祭壇上成為供人敬奉的象徵。這雖說是一種旁證，但也說明自古以來刀劍在兵器中地位是非常神聖的。遺憾的是，當時由於史料缺乏，現在已經很難考察當時有關刀劍的具體練習方法和技戰術水平。直到室町時代中期以後，劍術才成為一種技術體系。
劍，在日本是非常受尊重和崇拜的兵器，日本的劍、刀，這兩種稱謂一開始是混用的。日本經歷了七百多年的武士社會後，劍漸漸在上流社會中佔有一席之地，即便是在當今日本社會仍然如此，不管是社會哪個階層，都會以習劍為榮。早期，沒有日本劍道的這個稱呼，只是和中國一樣，是一種劍的技藝。劍道最早見於《古事記》和《日本書記》等歷史典籍中，被叫做 「多知加伎 （たちかき）」 。「多知加伎」一詞的意義還指「擊刀」這種運動形式。在奈良時期以後雖然經常混用「擊劍」、「擊刀」、「太刀打」等詞彙，但劍術通常是用「多知加伎」一詞 。從幕府時代的中期到末期才開始普遍使用劍術一詞，經過時代變遷， 「劍術」或稱為 「擊劍」。除了以上這些稱謂而外， 「刀法」和 「劍法」的稱謂也曾出現過，雖然稱謂不同，但都是基本與劍術有關的。直到 1911 年也就是明治44 年，才統一稱「劍道」，之後劍道一詞則固定下來被廣泛使用。
此時期，研究日本的劍技藝多是從奈良時代和平安時代去做考察。公元前473 年左右，由於不堪忍受戰爭的痛苦，陸續有難民攜帶了大量的青銅製的「戈」、「劍」等，渡海逃亡到日本。經過二百多年後，也就是中國的秦漢時期，又一次出現較大規模的移民，鐵器與此同時陸續傳入日本。二世紀前後，日本的邪馬臺國女王遣使貢魏四次，獲得魏明帝贈送的絹、銅鏡和大量的武器如「鐵矛」、「鐵劍」等。關於劍道的起源，準確的尚無法考證，但據史料記載，1200 多年前的奈良時代，已經多次出現「擊刀」一詞。到了日本的平安時代，流行「太刀打」的稱謂，此時的太刀也就是中國的「唐太刀」的仿製，由此可以看出日本劍道受中國刀劍武術的影響。到了江戶時代，也就是公元 1603----1867 年，劍道又改被稱作「兵法」。當時的《孫子兵法》在日本很流行，被稱為「大兵法」，而劍道則被稱為「小兵法」。日本古代，劍道是武士階層必備的技能，經過多年的歷史文化積澱，已經在日本人的心中形成一種特有的民族精神。
此時期日本劍道的特點各歸納為：第一，日本的劍是隨著移民，由中國傳入的。在劍術的技藝上也受到中國的影響。第二，日本的劍，重實戰應用，少表演成分。第三，為了馬上實戰的需要，將雙刃劍改為單刃刀，但是稱呼上刀劍混用。第四，劍及其技術的演變、改造，多有統治者開始引導施行，劍的地位是備受尊重的。