其實，計算機一開始就與「燒錢」兩個字兒相伴相隨。
劍橋大學盧卡斯數學講席教授查爾斯·巴貝奇（Charles Babbage，1792-1871）設計的分析機是現代計算機的前身，為了能把他的設想付諸實現，巴貝奇花光了自己的家底兒，後來向政府申請資助，但從1842年起英國政府拒絕進一步支援，於是導致巴貝奇的計算器未能完成，巴貝奇本人也因此窮困潦倒。
既然政府不願意出資，那麼只能由市場需求來決定超級計算機的命運了。1929年，「超級計算（Supercomputing）」這一名詞首次在《紐約世界報》關於「國際商業機器公司（後簡稱IBM）為哥倫比亞大學建造大型報表機（tabulator）」的報導中出現。此後的30多年，IBM公司逐步成為計算機行業的霸主。
二戰後，超級計算機逐漸被視為國家的重要戰略資源，美國政府成為超級計算機最大的金主。
20世紀50年代末，美國原子能委員會急需一種超級計算機，要求運算速度比當時最好的計算機還要高出兩個數量級，IBM公司是他們的首選。雖然IBM公司當時的董事長小託馬斯·沃森（Thomas Watson Jr.，1914-1993）承諾將研製出比IBM現有產品快百倍的計算機，但事實上製造出的計算機其運算速度只有原本設想的60%。由於沒有完成任務，IBM只好向原子能委員會要了成本價。即使這樣，這臺未符合要求的超級計算機的造價也高達800萬美元。
IBM的鎩羽而歸使公認的超級計算機之父——西蒙·克雷（Seymour Cray）進入了眾人的視線。科學青年們想必都對《生活大爆炸》中的謝耳朵（謝爾頓·庫珀）印象深刻吧？克雷，堪稱現實版、復古版的謝耳朵。他帶著研究團隊，在家鄉的密林深處建立了一個實驗室，業界稱克雷為「密林隱士」。
現實中的西蒙·克雷（Seymour Cray）和影視作品中的謝爾頓·庫珀（Sheldon Cooper）
克雷的研究團隊一共只有34個人，僅有2位博士，甚至還包括1個看大門的門衛。這個看起來遠遜於IBM的研究團隊於1963年8月研製出了第一臺真正意義上的超級計算機——CDC6600。
CDC6600共安裝了35萬個電晶體，運算速度為300萬次，是其他電腦的10倍。至1969年，克雷研製的CDC6600以及改進型CDC7600巨型機共售出了150餘臺，每一臺機器的售價在當時就高達8億美元。
克雷的輝煌由此開始，超級計算機進入了「克雷時代」。克雷離開CDC公司後獨立門戶，成立了克雷研究公司（Cray Research, Inc.）。1976年，克雷公司研發出新一代超級計算機——Cray-1。
超級計算機CDC6600和Cray-1（圖片來源：Computer History Museum）
這臺被公認為是超級計算機歷史上最成功的計算機首次使用了向量處理器，可以在特定工作環境中極大地提升性能，成為了當時超級計算機設計的主導方向。克雷研究公司憑藉這一新設計，在20世紀70年代到90年代期間稱霸整個超級計算機市場，並佔據巔峰位置長達五年（1985年—1990年）。
天下之事，分久必合合久必分。由於時鐘周期已接近物理極限，向量計算機的發展也進入了瓶頸。此時，大規模並行處理（MPP）的概念問世，超級計算機市場重新洗牌，英特爾、IBM、SGI、日立等美國和日本的大型企業開始成為超級計算機的行業新貴。
1992年，英特爾推出Paragon超級計算機成為歷史上第一臺突破萬億次浮點計算屏障的超級計算機；1996年，SGI為美國國家實驗室研製出一臺具有256個處理器的超級計算機，這個系統的處理器後來的運算速度達到了3萬億次。此外，IBM的SP2、日立公司的SR2201和SGI公司的Origin2000超級計算機皆有不俗的表現。
21世紀以來，超級計算機逐漸形成了美國、中國和日本三足鼎立的局面。從「TOP500」2000年至今的的榜單來看，美國的公司（Intel、IBM、CRAY）獲得冠軍次數最多，中國的科研機構（國防科學技術大學和國家並行計算機工程技術研究中心）、日本的公司（NEC和FUJITSU）分別為第二和第三名。但從趨勢來看，自2013年起，排名第一的超級計算機都為中國研製。
2000年至今以來排名第一的計算機（數據來源：Wiki百科）