谷歌推出新開源框架:添加 5 行代碼,帶來更強大的神經網絡模型

2021-01-07 DeepTech深科技

根據科技網站 Venturebeat 的報導,Google 今天推出了神經結構化學習(Neural Structured Learning,以下簡稱 NSL)。據悉,這是一個開源框架,它使用神經圖它使用神經圖學習方法,來訓練帶有圖(Graph)和結構化數據的神經網絡,帶來強大的模型。

NSL 與 TensorFlow 機器學習平臺需要配合使用,新手和高級開發人員都可以使用它來訓練具有結構化信號的神經網絡,適用於機器學習技術的入門開發者和有一些經驗的從業者。NSL 可以為計算機視覺製作模型,執行其框架,使開發人員能夠使用圖表訓練神經網絡。圖表可以來自多個來源,例如知識圖、醫療記錄、基因組數據或多模式關係(例如,圖像-文本)。NSL 還可以運用到對抗性學習算法中。而在醫療領域中,NSL 可以從醫療記錄或知識圖等圖形數據集運行預測。

簡單來說,TensorFlow 中的 NSL 框架為開發人員提供了以下易於使用的 API 和工具,用於訓練具有結構化信號的模型:

Keras API 支持使用圖形(顯式結構)和對抗性擾動(隱式結構)進行訓練。TF 操作和功能,以便在使用較低級別的 TensorFlow API 時啟用結構培訓用於構建圖形和構建用於培訓的圖形輸入的工具

「在培訓期間利用結構化信號可以讓開發人員獲得更高的模型精度,特別是當標記數據量相對較小時。」 TensorFlow 工程師 Da-Cheng Juan 和 Sujith Ravi 在博客中表示,「結構化信號訓練也可以帶來更強大的模型。這些技術已廣泛用於 Google 產品,以提高模型性能,例如 Graph-Regularized Image Semantic Embedding(Graph-RISE)圖形規範化圖像語義嵌入技術等。」

關於 NSL 是如何工作的,TensorFlow 工程師進行了詳細的解釋。在 NSL 中,利用結構化信號,無論是明確定義為圖形還是隱式學習為對抗性實例,只要可以讓開發者獲得更高的模型精度,而在用於規範神經網絡的訓練上受益即可。在執行上,下圖中進行了很好的解釋,通過示例功能中的選取,轉化成結構化信號,用於規範神經網絡的訓練,進行準確的模型學習預測,與此同時,NSL 也會保持來自同一結構的輸入之間的相似性。該技術是通用的,可以應用於任意神經架構,例如前饋 NN,卷積 NN 和循環 NN 中。

使用 NSL,利用結構化信號來構建模型變得簡單而直接。給定圖形(作為顯式結構)和訓練樣本,NSL 提供了一個工具來處理這些,以下是相關的代碼示例截圖:

然而,如果顯式結構(例如圖形)不可用或未作為輸入給出,該怎麼辦?所以,NSL 為開發人員提供了從原始數據構建圖形的工具;或 NSL 提供 API 以「誘導」對抗性示例作為隱式結構化信號。構造對抗樣本示例,以此作為隱形信號。

NSL 可以通過監督、半監督或無監督學習,來訓練使用圖形信號進行正規化的模型,在某些情況下,使用少於五行代碼,就可以獲得了一個神經模型。

新框架還包括幫助開發人員構建數據和 API 的工具,用於創建具有少量代碼的對抗性訓練示例。

今年 4 月,Google Cloud(谷歌雲)在 BigQuery 和 AutoML Tables 中為結構化數據引入了其他解決方案。而在上周,谷歌人工智慧團隊,也就是 Google Research 團隊,發布了開源的 SM3,一個用於優化大規模語言理解模型,如 Google 的 BERT 和 OpenAI 的 GPT2。

關於這項技術的詳細內容,已經發表在 Google TensorFlow 官網,感興趣的開發者可以關注下面的連結看看。

相關焦點

  • 谷歌重磅開源新技術:5行代碼打造無限寬神經網絡模型
    甚至只需要5行代碼,就能夠打造一個無限寬神經網絡模型。這一研究成果已經中了ICLR 2020。戳進文末Colab連結,即可在線試玩。開箱即用,5行代碼打造無限寬神經網絡模型Neural Tangents 是一個高級神經網絡 API,可用於指定複雜、分層的神經網絡,在 CPU/GPU/TPU 上開箱即用。該庫用 JAX編寫,既可以構建有限寬度神經網絡,亦可輕鬆創建和訓練無限寬度神經網絡。
  • 谷歌推出TensorFlow新工具
    網絡專家稱,這是黑客用人工智慧犯罪非比尋常的案例。松寶有話說:AI換音+AI換臉,假假分不清楚。2.【業界 | Android 10來了!自動回復、實時字幕,酷炫AI功能全放送】來源:android.com
  • 幾行代碼就寫一個神經網絡的TensorFlow框架到底是啥?
    很多年前有一個模型叫「神經網絡」,是通過模擬人腦的學習過程構建的,科學家希望用它進行一些計算和識別,總的來說是一種看起來比較完美的算法,但卻由於當時計算資源很匱乏被打入「冷宮」。雖然很多科學家紛紛轉入了新的領域進行研究,但還是有幾個科學家堅守這個陣地。
  • 不到1000行代碼GitHub千星,天才黑客開源深度學習框架
    在深度學習時代,谷歌、Facebook、百度等科技巨頭開源了多款框架來幫助開發者更輕鬆地學習、構建和訓練不同類型的神經網絡。而這些大公司也花費了很大的精力來維護 TensorFlow、PyTorch 這樣龐大的深度學習框架。
  • 谷歌TensorFlow 新模塊推出:幾行代碼,提高 AI 模型隱私性
    北京時間3月7日晚間消息,據美國科技媒體The Verge報導,谷歌今日為其機器學習框架「TensorFlow」發布了最新的模塊,開發者只需添加幾行額外的代碼,就能提高其AI模型的隱私性。
  • 三行代碼自動生成SOTA模型!亞馬遜推出AutoGluon
    【新智元導讀】亞馬遜AWS最新AutoGluon,只需三行代碼,自動生成高性能模型,讓調參、神經架構搜索等過程實現自動化,無需研究人員人工決策,大大降低了機器學習模型的使用門檻。戳右邊連結上 新智元小程序 了解更多!
  • Google展示AI新實力:讓神經網絡設計神經網絡
    我們認為,如果科學家和工程師們可以在指尖上,擁有更好、更強大的計算工具並展開研究,複雜的社會問題將有巨大的突破。這也是Google.ai的驅動力。我們希望讓神經網絡的創建變得更簡單。現在設計一個神經網絡非常耗時,所以我們創建了AutoML,可以讓神經網絡來設計神經網絡。我們希望AutoML抵得上幾個博士,並在三五年內滿足更多開發者的需求。
  • 更強大的「谷歌大腦」,谷歌擴充機器神經網絡規模
    更強大的「谷歌大腦」,谷歌擴充機器神經網絡規模 工程師8 發表於 2018-05-18 08:57:00 「機器學習」的概念自上世紀50年代出來以來就備受科技界的關注,而近年來「深度學習」逐漸成為機器學習研究中的一個新的領域
  • 神經網絡篇——用TensorFlow2.0框架實現BP網絡
    那這個感知器模型和BP網絡有什麼關係呢?在我們所看到的BP網絡的結構圖中,其實是被簡化了的,下面小編畫了一個邏輯更清晰一點的圖:這樣我們就可以看出來,其實BP網絡是由一個一個的感知器組成,也就構成了一個真正的神經網絡,自然就能理解為什麼要使用激活函數了。接下來我們來看一下TensorFlow實現BP神經網絡到底有多簡單!
  • 不到1000行代碼,GitHub 1400星,天才黑客開源深度學習框架tinygrad
    tinygrad 的代碼數量不到 1000 行,目前該項目獲得了 GitHub 1400 星。  在深度學習時代,谷歌、Facebook、百度等科技巨頭開源了多款框架來幫助開發者更輕鬆地學習、構建和訓練不同類型的神經網絡。而這些大公司也花費了很大的精力來維護 TensorFlow、PyTorch 這樣龐大的深度學習框架。
  • 谷歌發布NSL:面向圖形數據TensorFlow機器學習框架
    谷歌今日推出了名叫 NSL 的神經結構學習框架,作為一個開源架構,其旨在使用神經圖的學習方法,對帶有圖形和結構化數據的神經網絡展開訓練。 據悉,NSL 能夠與 TensorFlow 機器學習平臺配合使用,適用於有經驗或缺乏經驗的機器學習從業者。
  • 谷歌,DeepMind,微軟和Uber大規模訓練深度學習模型框架簡介
    訓練一個深度學習模型是一項非常昂貴的練習,它的執行也是如此。顯而易見的答案是,可以利用大型GPU網絡來分配深度學習程序的工作負載,但這絕非易事。眾所周知,並發和並行編程是非常複雜的,在應用於大型神經網絡時更是如此。今天,我想回顧一下在谷歌、DeepMind、Microsoft和Uber中用於並行化大規模深度學習模型訓練的一些頂級架構。
  • 目前最佳的幾個人工智慧開發框架以及(GPT-3)模型簡介
    對此谷歌研發出了TPU晶片,就是專門針對人工智慧神經網絡的運算,這也引起了科技廠商們開始研製神經網絡晶片的浪潮。由舊金山的人工智慧研究實驗室OpenAI創建的gpt-n系列的第三代語言預測模型。 GPT-3於2020年5月發布,並於2020年7月進行了beta測試,它是面向訓練前語言表示的自然語言處理(NLP)系統趨勢的一部分。在GPT-3發布之前,最大的語言模型是微軟於2020年2月推出的圖靈NLG。與GPT-3相比,其容量為170億個參數,不足其10%。
  • BP神經網絡模型:Matlab
    本文介紹了運用計量統計軟體Matlab(2017a MAC) 建立BP神經網絡模型的方法。另外設定一個隱含層,包括20個神經元每個神經元包含252個數據點,其中最後一個點不參與訓練,留作測試最終的模型,即利用前251個數據點訓練模型,利用最後一個點檢驗模型在Matlab中輸入數據1、點擊打開 Matlab ,確保保存的Excel文件和軟體路徑一致
  • AutoML : 更有效地設計神經網絡模型
    : 更有效地設計神經網絡模型英語原文:AutoML: Creating Top-Performing Neural Networks Without Defining Architectures翻譯:雷鋒字幕組(chenx2ovo)自動化機器學習,通常被稱為AutoML,是自動化構建指神經網絡結構
  • 「黑」掉神經網絡:通過逆向模型文件來重構模型後門
    開車行駛在回家路上,拿出手機對準攝像頭,用一句語音喚起「Siri」,讓它完成播放音樂的簡單指令,僅用時30秒,你便完成了一次與神經網絡的交互體驗。 伴隨科技的快速發展,深度學習與AI技術在現實中擁有了愈發多樣而靈活的應用場景,而深度學習在計算機視覺任務中獲得的巨大成功,也令神經網絡的安全問題逐漸暴露。
  • TensorFlow vs PyTorch:哪個是深度學習網絡編程的最佳框架呢?
    哪種框架最適合神經網絡編程呢?是TensorFlow還是PyTorch ?首先讓我們構建一個神經網絡模型,該模型分別使用PyTorch和Keras(TensorFlow)對手寫數字進行分類。:在PyTorch中是這樣的:我們可以使用matplotlib.pyplot庫驗證這兩段代碼是否已經正確加載了相同數據:c)定義神經網絡模型在兩種框架都使用相當相似的語法來完成
  • 開源神經網絡框架Caffe2全介紹
    如果你是一個移動開發者,準備好自己的模型後,通過簡單幾行調用,你就可以讓你的神經網絡在蘋果設備上用GPU運行起來。使用Caffe2移動端的GPU實現可以給你的網絡帶來實質性的加速和能耗上的優化,這一切都是開源的。在安卓設備上 我們用OpenGL來使用GPU加速神經網絡的執行。這之中我們有一整套基於OpenGL的GPU底層運算實現。CPU只需調度,無需處理數據。
  • OpenAI開源了這些用於可視化神經網絡的框架
    想像一下,了解一個神經網絡,其中有成千上萬個神經元分布在數千個隱藏層中。 大多數深度神經網絡的互連性和複雜性使其不適用於傳統的調試工具。 結果,數據科學家經常依靠可視化技術來幫助他們了解神經網絡如何做出決策,這是一個持續的挑戰。 為了推動這一領域的發展,OpenAI剛剛推出了顯微鏡和清醒庫,它們可以可視化神經網絡中的神經元。
  • 初學AI神經網絡應該選擇Keras或是Pytorch框架?
    對於許多開發者來說,TensorFlow是他們接觸的第一個機器學習框架。TensorFlow框架儘管意義非凡,引起極大關注和神經網絡學習風潮,但對一般開發者用戶太不友好。軟體開發者畢竟不是科學家,很多時候簡單易學易用是程式設計師選擇的第一要素。