上世紀50年代，日本總結二戰、韓戰的經驗，開始積極投入自行無後坐力炮的研發。在當時日本既沒有技術也沒有條件研發先進坦克，為了獲取基本的反坦克裝備，這才把重點放在技術要求更低的自行無後座力炮上。
1960年，自行無後坐力炮設計定型，被命名為60式無後坐力炮。它的作戰任務並非和坦克部隊正面硬戰，而是以無後座力炮發射破甲彈、碎甲彈，執行隱蔽的狙殺任務，不管成功與否，都堅持打了就走的戰術。
在這種思路的引導下，60式就放棄了裝甲防護，走上了一條小尺寸、高機動的道路，成了新一代的豆戰車。
60式採用一個小尺寸裝甲底盤，五對小直徑負重輪，動力艙在後，主動輪在前。採用一颱風冷柴油機，最大行駛速度55千米每小時。
火力為兩門並排布置在車體右側的106毫米無後坐力炮，該炮仿製自美軍的M40無後坐力炮；炮管長3.4米，重220千克。火炮上方有一挺12.7毫米機槍，不過這挺機槍主要功能不是自衛，而是用來給火炮測距，當發現目標後，通過機槍打出一個點射，觀察彈著點，然後再發射無後坐力炮。
之所以這種布置，主要還是無後坐力炮天然的缺陷。該炮雖然最大射程達到了7678米，但是在反坦克作戰中，最大射擊距離只有1100米，它的最大破甲深度只有300毫米，發射火光大，而且裝單手需要下到車後裝填炮彈；在實戰中，基本只有一次開火機會，因此需要儘可能一擊必中。
在發現目標之後，先用小直徑立體測距儀大致測出距離，火炮進行大致瞄準，然後通過機槍表尺開火，準確判斷距離，炮手根據彈著點的引導快速調整火炮，先打出一發炮彈，繼續觀察炮彈彈著點，如果準確則立即發射第二發炮彈，如果沒有命中則適當修正再發射。無論如何兩發炮彈打完了，車組就需要快速撤離，不然反擊火力很快就覆蓋過來了。
火炮可以通過液壓機構升高半米，這樣就能躲在灌木叢等隱蔽物後面開火了。火炮升起時，左右射界各30°，高低射界-15°~+25°；火炮降下時，方向射界左右各10°，高低射界-5°~+10°。車內備彈10發，在車尾兩個彈藥箱內各放4發，車體右側一個蓋板下存放2發。
裝甲防護很弱，同時採用鉚接和焊接工藝，厚12毫米，無三防裝置，無兩棲能力，但是可以更換雪地履帶，寬60毫米，加大接地面積。
採用3人車組：駕駛員、車長兼炮手、裝填手。車身比較狹窄，全車長4.3米，寬2.2米，高1.59米，和一輛普通家用車大小差不多，車內結構比較擁擠。
其實對於60式自行無後坐力炮來說，它只是滿足最基本的反坦克火力，比單兵火箭筒要強一些，在70年代複合裝甲開始普及後，它那可憐的穿甲能力就捉襟見肘了，好在日本是一個島國，本身也沒有坦克入侵本土的風險，這樣一款車輛湊合一下還能夠用，總共生產了525輛，據說現在還有少量在役。
其實日本並非沒有想過改造升級60式，曾有計劃取消無後坐力炮，改為反坦克飛彈，但因為70年代的反坦克飛彈性能不太好，發射後需要車輛停在原地瞄準制導，很容易就成了靶子，還不如無後坐力炮方便，因此該計劃不了了之。