深度學習入門者選擇開源框架的相關問題

2020-12-19 雷鋒網

在上周公開課中,微軟機器學習科學家彭河森博士詳細講述了各大開源框架適用的出場景,課程結束後,我們特地整理了深度學習入門者關注的幾個問題:《AI 從業者該如何選擇深度學習開源框架丨硬創公開課》

想學習深度學習開源框架,比如TensorFlow,Caffe,需要掌握哪些 Linux 知識?

Linux 方面的知識我認為主要在系統配置方面,這裡推薦一下 Docker,Docker 是一個容器虛擬機,可以讓虛擬機中的程序和硬體更緊密的結合在一起,同時省去了配置 CUDA,BLAS/LAPACK 等環境方面的麻煩,現在 Docker 本身也是一個非常火熱的領域。

還沒有接觸過深度學習。作為一個初學者,我想知道 Mxnet 這類框架,與 Spark MLLib 裡邊機器學習包的關係、差異?Spark 只是提供了一些機器學習算法,可以這樣理解嗎?

這個問題表面上是問差異,但是我想多講一點,首先現在工業級應用其實都離不開 Apache 生態的支持,如果一個分布式系統不和 Zookeeper 說兩句話,都不好意思出來混。當然也有如 Elasticearch 一類的生命野蠻的存在,MXnet 分布式設計有一些部分是非常可圈可點的,比如利用 Yarn 進行伺服器資源管理,這樣的話可以很容易的和工業級分布式應用整合在一起。Spark MLLib 更多的是一些現有的功能包,包括了監督式和非監督式學習的很多常用模塊。MXNet 更為專門,目前據我有限的經驗,MLLib的程序基於Java虛擬機,並沒有和機器層緊密結合。ELK = Elasticsearch + Logstash + kibana :),Elasticsearch 5.0很好很強大,加入了Beats也可以研究一下。

對深度學習硬體支撐這一塊的看法

硬體很有意思,例如圖像處理裡面,非常大的運算量是用在了卷積層計算上面。所謂卷積層計算,就是將圖像通過深度網絡,映射到更低的維度上面去,圖像卷積操作可能到了某一天,會出現一個視網膜一樣的硬體,在攝像頭上面就已經完成了卷積操作,我們傳圖像的時候,可能傳一個類似於 meta tag 的東西。這樣的話 FPGA 就有大大的用處。(有群友繼續問到:是否類 似Autoencoder)Autoencoder 是一個邏輯上的概念,應該說叫做 ASIC,Application Specific Integrated Circuit,最後成平也就是手機晶片的一個小模塊。

相關閱讀:

《AI 從業者該如何選擇深度學習開源框架丨硬創公開課》

相關焦點

  • Facebook宣布開源深度學習框架 Caffe 2
    Facebook宣布開源深度學習框架 Caffe 22017-04-20 19:43出處/作者:環球時報整合編輯:黑目責任編輯:廖俊輝 【PConline 資訊】據英國媒體4月19日報導,在Facebook F8開發者大會上,Facebook宣布開源Caffe2深度學習框架,用於人工智慧模型和應用開發 Caffe2以產品為導向,並致力於智慧型手機上大規模機器學習系統的配置。
  • 訓推一體,動靜合一:深度學習框架「天元」出世
    機器之心報導機器之心編輯部「深度學習,簡單開發」,剛剛開源的天元(MegEngine)將為開發者們帶來全新的深度學習開發體驗。又一個國產深度學習框架開源了。Caffe 已過去六年,曠視為什麼選擇在這個時間點開源自身的核心技術?
  • F8 2017 | Facebook 開源全新深度學習框架 Caffe2,讓 AI 從雲端...
    在昨晚開幕的 F8 年度開發者大會上,Facebook 發布了一款全新的開源深度學習框架 Caffe2。按照官網介紹,它最大的特點就是輕量、模塊化和擴展性,即一次編碼,到處運行(和 Java 的宣傳語類似)。說得更直白一點,就是 Caffe2 可以方便地為手機等移動終端設備帶來 AI 加持,讓 AI 從雲端走向終端。
  • Facebook宣布開源深度學習框架Caffe2用於人工智慧
    【PConline 資訊】據英國媒體4月19日報導,在Facebook F8開發者大會上,Facebook宣布開源Caffe2深度學習框架,用於人工智慧模型和應用開發。Caffe2以產品為導向,並致力於智慧型手機上大規模機器學習系統的配置。
  • Facebook發布開源Caffe2深度學習框架,順應跨平臺模型訓練的新趨勢
    北京時間4月19日Facebook在位於聖何塞(San Jose)舉行的F8開發者大會上宣布推出開源Caffe2深度學習框架。Facebook AI平臺工程主管賈揚清(Yangqing Jia)對此發表評論,認為與之前適合進行研究和實驗的PyTorch框架不同,Caffe2更偏向於工業級的移動應用。一直以來,深度神經網絡和人工智慧模型的訓練,包括圖像、視頻、文本和語音等各種信息的處理通常要在數據中心或超級計算機的支持下才能完成。
  • 醫療AI公司繞不開的選擇難題:開源框架與專用晶片
    在醫療AI領域,圍繞晶片和AI開源框架的討論也一直熱度不減。《後浪》視頻一夜刷屏。其實在AI時代,晶片和開源框架也有諸多不斷趕超「前浪」的攪局者和顛覆者。為了搶佔市場、營造生態,科技巨頭也都推出了自己的開源深度學習框架,如Google的TensorFlow、Amazon的MXNet、Facebook的Pytorch和Microsoft的CNTK等。
  • 深度學習入門課:你需要了解的十大框架和選型攻略
    深度學習框架是幫助使用者進行深度學習的工具,它的出現降低了深度學習入門的門檻,你不需要從複雜的神經網絡開始編代碼,就可以根據需要使用現有的模型。本文引用地址:http://www.eepw.com.cn/article/201710/370283.htm  做個比喻,一套深度學習框架就像是一套積木,各個組件就是某個模型或算法的一部分,使用者可以自己設計和組裝符合相關數據集需求的積木。  當然也正因如此,沒有什麼框架是完美的,就像一套積木裡可能沒有你需要的那一種積木,所以不同的框架適用的領域不完全一致。
  • 通過對比深度學習各大框架的優缺點尋找最優
    開源的深度學習神經網絡正步入成熟,而現在有許多框架具備為個性化方案提供先進的機器學習和人工智慧的能力。那麼如何決定哪個開源框架最適合你呢?本文試圖通過對比深度學習各大框架的優缺點,從而為各位讀者提供一個參考。你最看好哪個深度學習框架呢?
  • 浪潮在美國發布深度學習計算框架Caffe
    打開APP 浪潮在美國發布深度學習計算框架Caffe 工程師9 發表於 2018-05-18 18:03:00 4月6日消息(美國矽谷當地時間
  • 不到1000行代碼,GitHub 1400星,天才黑客開源深度學習框架tinygrad
    來源:機器之心 本文約2000字,建議閱讀5分鐘 最近,天才黑客 George Hotz 開源了一個小型深度學習框架 tinygrad,兼具 PyTorch 和 micrograd 的功能
  • 機器學習者必知的5種深度學習框架
    深度學習框架的創建目標是在GPU上高效運行深度學習系統。這些深度學習框架都依賴於計算圖的概念,計算圖定義了需要執行的計算順序。在這些框架中你使用的是一種可以建立計算圖的語言,並且語言的執行機制與其宿主語言本身的機制有所不同。然後,計算圖可以並行地在目標GPU中優化和運行。 在這篇文章中,我想向大家介紹推動深度學習發展的5個主力框架。
  • TensorFlow、Caffe、Torch 三大深度學習框架被存在安全漏洞
    :TensorFlow、Caffe、Torch 等深度學習框架對第三方開源基礎庫的過度依賴會導致其存在大量的安全威脅。TensorFlow、Caffe、Torch 等深度學習框架的使用可以讓應用開發人員無需關注底層實現細節,大大提高了人工智慧應用的開發效率。但是這些深度學習框架所提供的高效性也註定了框架自身的複雜性,而系統越複雜,就越有可能存在安全隱患,特別是這三大框架又都是搭建在眾多第三方開源基礎庫之上的。
  • 2020,國產AI開源框架「亮劍」TensorFlow、PyTorch
    但多年以後,當中國的AI開發者回首國內開源往事,也準會想起那個由清華、曠視、華為在僅僅七天時間內陸續宣布AI框架開源的那個2020年的3月末。在那個3月28日,華為在開發者大會2020上完成了輪值董事長徐直軍在去年8月的承諾,宣布正式開源MindSpore,這是一款支持端邊雲全場景的深度學習訓練推理框架。
  • AI開發者看過來,主流移動端深度學習框架大盤點
    近年來,隨著行動裝置的廣泛普及與應用,在行動裝置上使用深度學習技術的需求開始湧現。簡書作者 dangbo 在《移動端深度學習展望》一文中對現階段的移動端深度學習做了相關展望。作者認為,現階段的移動端 APP 主要通過以下兩種模式來使用深度學習:online 方式:移動端做初步預處理,把數據傳到伺服器執行深度學習模型,優點是這個方式部署相對簡單,將現成的框架(Caffe,Theano,MXNet,Torch) 做下封裝就可以直接拿來用,伺服器性能大, 能夠處理比較大的模型,缺點是必須聯網。
  • 盤點四大民間機器學習開源框架:Theano、Caffe、Torch和SciKit-learn
    在上期的,我們盤點了 TensorFlow,CNTK,SystemML,DeepMind Lab 等各大網際網路巨頭的開源平臺。本期,雷鋒網將帶領大家來看看誕生於民間(學界)的另外四大開源項目:谷歌、微軟、OpenAI 等巨頭的七大機器學習開源項目 看這篇就夠了1. TheanoTheano 在深度學習框架中是祖師級的存在。
  • 盤點四大民間機器學習開源框架:Theano、Caffe、Torch 和 SciKit...
    Theano 在深度學習框架中是祖師級的存在。當與其他深度學習庫結合起來,它十分適合數據探索。它為執行深度學習中大規模神經網絡算法的運算所設計。其實,它可以被更好地理解為一個數學表達式的編譯器:用符號式語言定義你想要的結果,該框架會對你的程序進行編譯,來高效運行於 GPU 或 CPU。它與後來出現的 Tensorflow 功能十分相似(或者應該說,Tensorflow 類似 Theano ),因而兩者常常被放在一起比較。
  • TensorFlow和Caffe、MXNet、Keras等其他深度學習框架的對比
    自 TensorFlow 於 2015 年底正式開源,距今已有一年多,這期間 TensorFlow 不斷給人以驚喜。在這一年多時間,TensorFlow 已從初入深度學習框架大戰的新星,成為了幾近壟斷的行業事實標準。
  • 深度| 對比深度學習十大框架:TensorFlow最流行但並不是最好
    在 BEEVA Labs,我們常常需要應對許多不同的深度學習庫,所以我希望能夠將我們的發現和感想分享出來,幫助那些剛剛進入深度學習這一美麗世界的人。」TensorFlow連結:https://www.tensorflow.org/對於那些聽說過深度學習但還沒有太過專門深入的人來說,TensorFlow 是他們最喜歡的深度學習框架,但在這裡我要澄清一些事實。
  • 對比深度學習十大框架:TensorFlow 並非最好?
    他寫道:「我常聽到人們談論深度學習——我該從哪裡開始呢?TensorFlow 是現在最流行的吧?我聽說 Caffe 很常用,但會不會太難了?在 BEEVA Labs,我們常常需要應對許多不同的深度學習庫,所以我希望能夠將我們的發現和感想分享出來,幫助那些剛剛進入深度學習這一美麗世界的人。」
  • 「每周CV論文推薦」深度學習人臉檢測入門必讀文章
    在這個專欄裡,還是本著有三AI一貫的原則,專注於讓大家能夠系統性完成學習,所以我們推薦的文章也必定是同一主題的。人臉圖像是整個圖像處理領域裡面研究時間最長,應用最廣的方向,今天給大家介紹入門深度學習人臉檢測必讀的文章。