CPU GPU TPU簡介

2021-03-06 電子報

      伴隨著人工智慧的宣傳,經常聽到CPU,GPU,TPU的字樣。作為發燒友,CPU和GPU應該比較清楚,不過TPU又是什麼概念?這三者在人工智慧領域又有何區別?下面就為大家簡單介紹一下。
首先要實現人工智慧必須有三點:算法(核心),硬體和數據(基礎)。

       算法主要分為為工程學算法和模擬算法。
       工程學方法是採用傳統的編程技術,利用大量數據處理經驗改進提升算法性能;模擬法則是模仿人類或其他生物所用的方法或者技能,提升算法性能,例如遺傳算法和神經網絡。
       接下來就是本文講述的重點了。
GPU

       最初GPU主要用於圖像渲染所需而研發,特別針對密集的、高並行的計算,因此GPU 設計了更多的電晶體專用於數據處理,而非數據高速緩存和流控制,這是和CPU最大的區別之處,比如CPU 上有 20%的電晶體是用作運算之用的,而GPU 上有 90%甚至更多的電晶體用作運算。
       GPU 處理的首要目標是運算以及數據吞吐量,從硬體設計上就是一種完全為多線程設計的處理核心,擁有複數的管線平臺設計,完全勝任每線程處理單指令的工作。能夠進行整數,浮點計算,邏輯運算等操作。而 CPU 內部電晶體的首要目的是降低處理的延時以及保持管線繁忙,這也決定了 GPU 在密集型計算方面比起 CPU 來更有優勢。
分工與合作
       CPU 由於在分支處理以及隨機內存讀取方面有優勢,在處理串聯工作方面較強。GPU 由於其特殊的核心設計,在處理大量有浮點運算的並行運算時候有著天然的優勢。計算機工作時,性能實際上就是使用 CPU 來做串聯工作,而 GPU 負責並行運算,CPU+GPU的異構運算組合讓計算機性能充分發揮。
       不過目前在移動端,GPU的應用還不如PC端,但隨著手戲及VR的微端運用,GPU呈現出大爆發的趨勢。
       當然GPU的缺點也很明顯,正是因為GPU更擅長於類似圖像處理的並行計算, GPU 提供了大量的核,可以同時對很多像素進行並行處理。但只能在大量數據處理時有明顯提升,其處理單一數據的速度不如CPU,並GPU 核主要被設計為支持與圖像處理相關的運算,不如 CPU 通用。並且GPU相對可編程的矽晶片FPGA,較容易產生計算錯誤。
FPGA

       FPGA誕生於1984年,這種可編程邏輯器件憑藉性能、上市時間、成本、穩定性和長期維護方面的優勢,在通信、醫療、工控和安防等領域佔有一席之地。特別是最近兩年,由於雲計算、高性能計算和人工智慧的繁榮,擁有先天優勢的FPGA得到空前發展。
       計算能力除了和硬體的計算速度有關,也同硬體能支持的指令有關。FPGA和GPU內都有大量的計算單元,因此它們的計算能力都很強。在進行神經網絡運算的時候速度會比CPU快很多,但兩者之間存在一些差別。GPU出廠後由於架構固定硬體原生支持的指令其實就固定了。如果神經網絡運算中有GPU不支持的指令,比如,如果一個GPU只支持加減乘除,而我們的算法需要其進行矩陣向量乘法或者卷積這樣的運算,GPU就無法直接實現,就只能通過軟體模擬的方法如用加法和乘法運算的循環來實現,速度會比編程後的FPGA慢一些。而對於一塊FPGA來說,如果FPGA沒有標準的「卷積」指令,開發者可以在FPGA的硬體電路裡「現場編程」出來。相當於通過改變FPGA的硬體結構讓FPGA可以原生支持卷積運算,因此效率會比GPU更高。
TPU

       TPU英文全稱Tensor Processing Unit(張量處理器)。是谷歌專為它的深度學習語言Tensor Flow開發的一種晶片。TPU是一種ASIC,這是一種與FPGA類似,但不存在可定製性的專用晶片,經過了專門深度機器學習方面的訓練,它有更高效能(每瓦計算能力),寬容度更高,每秒在晶片中可以擠出更多的操作時間,使用更複雜和強大的機器學習模型,將之更快的部署,用戶也會更加迅速地獲得更智能的結果,在處理人工智慧方面功耗更低,最出名的就是AlphaGo。
       另外從商業角度講,目前Google的處理器還是自產自銷,不會對外出售。不過隨著越來越多的企業採用Google雲服務,採購Intel處理器並自建伺服器/數據中心的會越來越少,會對Intel、NVIDIA這樣的大客戶產生巨大衝擊。
PS:
   ASIC(Application Specific Intergrated Circuits)即專用集成電路,是指應特定用戶要求和特定電子系統的需要而設計、製造的集成電路。目前用CPLD(複雜可編程邏輯器件)和FPGA(現場可編程邏輯陣列)來進行ASIC設計是最為流行的方式之一,它們的共性是都具有用戶現場可編程特性,都支持邊界掃描技術,但兩者在集成度、速度以及編程方式上具有各自的特點。
   ASIC的特點是面向特定用戶的需求,品種多、批量少,要求設計和生產周期短,它作為集成電路技術與特定用戶的整機或系統技術緊密結合的產物,與通用集成電路相比具有體積更小、重量更輕、功耗更低、可靠性提高、性能提高、保密性增強、成本降低等優點,嚴格的說,ASIC不能算是學術名詞,也不能算是技術。

◇綿陽 王建銀

相關焦點

  • 居然有免費的GPU可以跑深度學習代碼!
    Google Colab簡介Google Colaboratory是谷歌開放的一款研究工具,主要用於機器學習的開發研究,這款工具現在可以免費使用,但是不是永久免費暫時還不確定,Google Colab最大的好處是給廣大開發AI者提供免費的GPU使用!
  • 萊特幣ltc挖礦教程:cpu挖礦與gpu挖礦(詳細圖文)
    小編特整理了萊特幣ltc挖礦教程,用詳細的圖文介紹萊特幣的兩種挖礦方法:cpu挖礦與gpu挖礦。  Windows32bitsVersion2.23(https://github.com/downloads/pooler/cpuminer/pooler-cpuminer-2.2.3-win32.zip)  Windows64bitsVersion2.22(https://github.com/downloads/pooler/cpuminer/pooler-cpuminer
  • 實踐經驗分享:在深度學習中餵飽GPU
    然後打開資源使用率看了下發現 cpu 使用率幾乎已經滿了(只能申請 2cpu 和一張 v100...),但是 gpu 的使用率非常低,這基本可以確定瓶頸是在 cpu 的處理速度上了。後來查了一些資料發現 nvidia 有一個庫叫 dali 可以用 gpu 來做圖像的前處理,從輸入,解碼到 transform 的一整套 pipeline,看了下常見的操作比如 pad/crop 之類的還挺全的,並且支持 pytorch/
  • 在 Ubuntu 16.04 中安裝支持 CPU 和 GPU 的 Google TensorFlow 神經網絡軟體
    如果你使用的是 Python 2.7,運行下面的命令:pip install TensorFlow-gpu如果安裝了 Python 3.x,使用下面的命令:pip3 install TensorFlow-gpu安裝完後,你會看到一條 「successfully installed」 的消息。
  • 超算安裝GPU-based軟體 (以pytorch為例)
    思來想去,想出一個辦法,重新開個新的env,提交一個「計算」任務,申請一個cpu線程,一張顯卡,來運行安裝程序。以下是slurm提交「算例」的腳本:#!/bin/sh# script for software install#SBATCH -J torch_install#SBATCH -o job-%j.log#SBATCH -e job-%j.err#SBATCH -N 1 --ntasks-per-node=1 -p GPU-V100 --gres=gpu:v100:1
  • 什麼是tpu材質 tpu有哪些特點
    什麼是tpu材質 tpu有哪些特點 2019-06-24 15:37:12 來源:全球紡織網 今天小編跟大家分享的內容是什麼是tpu材質。
  • tpu是什麼材料有毒嗎 tpu生產廠家
    tpu是什麼材料有毒嗎 tpu生產廠家 2017-04-21 10:59:37 來源:全球紡織網 tpu是什麼材料有毒嗎?
  • 基於RTX2060構建TensorFlow-gpu(keras)學習平臺
    一、conda命令1. onda env list 或 conda info -e 查看當前存在哪些虛擬環境2. conda create --name tf36gpu python=3.6 anaconda3. conda remove -n
  • 薅資本主義羊毛,用Google免費GPU
    地址在這裡,Google還貼心地寫了中文版簡介:https://colab.research.google.com/notebook即便如此,據說還有人不會用?要查看你在Colab裡是不是真的在用GPU,可以運行以下代碼來交叉檢查:import tensorflow as tf tf.test.gpu_device_name()如果顯示上圖左側的結果,就是在用CPU,顯示右側結果就是在用GPU。
  • 6月份cpu天梯榜,告訴你麒麟990 5G晶片為何比驍龍855+排名更高
    因此決定手機性能的cpu,就越來越重要。對各家的cpu,我們可以通過cpu天梯榜排名來判斷其性能,以方便我們選擇合適的手機。我們可以看到在cpu天梯榜上,麒麟990 5G晶片排名是要高於驍龍855plus的。但是有很多用戶對這個排名,感到懷疑。確實高通驍龍的頂級晶片,一直都是處於安卓手機處理器的低端,而華為的麒麟晶片雖然很強大,但是目前並沒有超越高通。
  • TPU複合面料的優點和缺點
    TPU複合面料的優點和缺點 2017-12-04 10:49:38 來源:全球紡織網 TPU複合面料的優點和缺點,tpu複合面料就是用tpu薄膜複合在各種面料上形成一種複合材料
  • 【CTO講堂】如何用Python一門語言通吃高性能並發、GPU計算和深度...
    主持人:數據分析方面,請您談一談如何利用gpu加速數據分析。 黃勝藍:很多人可能會覺得gpu編程是一件很困難的事情,其實當真正接觸了之後就會了解到讓你的程序在gpu上運行其實並不難,真正的難點在於理解gpu的特性從而將最合適的任務交給gpu來做,同時採用合適的優化手段。
  • 選購tpu鬆緊帶要注意哪些問題
    但其實小輔料大學問,製衣廠如果不深入了解tpu鬆緊帶,隨意選擇的話,可能會影響整件衣服的效果。現代服裝比較流行彈力氨綸面料和純棉彈力面料,如果這樣面料的衣服穿著之後不久就變形松垮,那就是一款失敗的產品。設計師選擇將服裝輔料tpu彈力帶設計到衣服裡面,目的就是對相關部位進行定型支撐,使其不會松垮。
  • 透明桌布用tpu還是pvc TPU和Pvc有3點不同
    那麼透明桌布用tpu還是pvc呢,這個問題大家在購買桌布的時候可以考慮一下。那麼TPU和Pvc有3點不同,具體有什麼不同點呢,一起來看看相關的內容。透明桌布用tpu還是pvc當然是PVC了,抗高溫,不易腐壞,塑料跟容易受熱收縮,也容易損壞的,如果長期使用那就選擇PVC材質,如果是一次性使用,或者短暫使用,可以選擇塑料材質;TPU和Pvc有3點不同
  • eva熱熔膠膜與tpu熱熔膠膜區別
    Eva熱熔膠膜與tpu熱熔膠膜是熱粘合劑中非常重要的兩種類型熱熔膠產品,如果單從物理形態方面來分辨二者的確存在非常大的難度。因為它們都是白色透色、又都可以分為帶基材和不帶基材等。對於非專業領域的人來說,很那從外形方面區別它們。
  • 基於 Kubernetes 的 GPU 類型調度實現
    E.g.: nvidia.com/nvidia-gpu ResourceName string // resource metadata received from device plugin.