深度學習概述:NLP vs CNN

2020-12-10 AI科技大本營

作者 | Manish Kuwar

譯者 | 蘇本如，責編 | 郭芮

頭圖 | CSDN 下載自視覺中國

出品 | CSDN（ID：CSDNnews）

以下為譯文：

當今，人工智慧已經不僅僅是一個技術術語了。這項技術在過去十年的時間內幾乎將其影響擴展到了所有行業。現在，每家公司都希望在其系統中實現這一尖端技術，以降低成本、節省時間，並通過自動化使整個工作流程更加高效。

最初的人工智慧和深度學習算法比較簡單，就像我們所知的簡單感知器模型和單層神經網絡一樣。隨著時間的推移和更加專注的研究，我們已經擁有了具有多層結構的複雜神經網絡。一些公司在他們的軟體和服務中使用了LSTMs、GANs、變分自編碼器等算法。

本文在以下部分列出了人工智慧領域當前最熱門的技術以及正在研究這些熱門技術的公司。看了這些創新之後，準備好大吃一驚吧。如果你想對這些技術作進一步的探索，你可以從這裡開始。

自然語言處理 – NLP

自然語言處理（Natural Language Processing - NLP）是人工智慧研究的熱點之一。NLP處理語言（文本數據）並執行諸如翻譯、音譯、語義分析、聊天機器人開發、文本擬態、文本轉語音等任務。在當前的場景中，NLP對組織非常重要，因為它通過自動化過程和減少人工幹預而提升了客戶支持。

除此之外，NLP技術也被用於基於對從社交媒體平臺挖掘的文本進行語義分析而開發營銷策略。然而NLP的難點在於，大多數NLP算法都是基於複雜的深層神經網絡，如RNNs、LSTMs和GRUs。為了讓自己有一個基本的印象，你可以把它們看作是我們先前提到的基於數據輸入（即記憶）的傳統神經網絡。

Dialogflow和Moveworks是基於NLP技術的兩家領先公司。讓我們簡單地看一下這兩家公司的情況。

Dialogflow

Dialogflow公司是谷歌的一家子公司，它專注於NLP技術的最新研究以及與之相關的模塊、API和平臺的開發。你可以將Dialogflow公司提供的服務集成到Amazon Alexa、Siri、Cortana，當然還有Google Home中。Dialogflow的服務使用長短期記憶神經網絡（LSTM）和遞歸神經網絡（RUN）來執行與文本和語言相關的任務。Dialogflow以其聊天機器人（chatbot）服務而聞名。

除此之外，像Dominos、Mercedes、Giorgio Armani這樣的公司正在藉助Dialogflow服務在其系統中嵌入聊天機器人和文本到語音服務。你可以輕鬆閱讀Dialogflow的服務文檔，並在幾分鐘內在你的網站/行動應用程式上準備好自己的聊天機器人。

Moveworks

Moveworks是一家總部位於加州山景城（加州Mountain View）的價值2億美元的公司。它是由Bhavesh Shah、Jiang Chen、Vaibhav Nivargi和Varun Singh聯合創建的。每一個聊天機器人和NLP產品都是基於遞歸神經網絡（RNN）或其後繼技術。Moveworks服務也不例外，它的服務的核心也是基於其自定義的遞歸神經網絡和基於相關數據訓練的LSTM網絡。

Moveworks為企業提供客戶支持自動化和NLP解決方案。它曾服務於Nutanix、Autodesk和Western Digital等巨頭。如果你想減少IT支持並使其自動化以節省成本，那麼強烈建議你考慮Moveworks。

卷積神經網絡 - CNNs

卷積神經網絡（CNNs）是應用最廣泛的深度學習算法。CNN算法本來是對傳統神經網絡的一個小小的改進，它進而發展成為人工智慧領域的一個革命性概念。今天，CNNs技術已經被廣泛地應用於目標檢測、人臉識別、計算機視覺和預測技術。

卷積神經網絡涉及到深層神經網絡中層的堆疊，並在其中對輸入圖像進行填充、卷積、縮放等操作。CNNs最棒的部分是將圖像轉換成數組（幾乎類似於一維矩陣），然後再進行數學運算，最終得到所需的輸出。要實現CNN，你只需要大量的數據和一臺計算機來訓練你的人工智慧模型。下面是幾家專注於計算機視覺和CNNs技術研究的公司。

Matterport

當Matterport公司的研發團隊發表了一篇關於Mask RCNN的論文時，它引起了人們的注意。這家總部位於加州Sunnyvale的公司，是計算機視覺產品的贊助人之一。此外，他們還開發了一種高效的計算機視覺目標檢測算法（Mask-RCNN），它是Fast RCNN和Faster RCNN的後繼算法。Mask-RCNN使用邊界框坐標和masking技術來識別已訓練模型中的對象。除了目標檢測之外，Matterport的Mask RCNN技術還被用於視頻呼叫應用程式中來更改背景。

今天，Matterport已經將增強現實技術與深度學習結合起來，並發明了現代最好的三維相機之一。Matterport生產的三維相機，可以用來可視化房屋結構，提供虛擬參觀，並顯示一個令人愉快的平面圖。

Neurala

這家位于波士頓的機器學習和軟體開發公司迎合了尋求過程自動化和計算機視覺解決方案的組織的需要。Neurala模型已經被用在了全球超過5,000萬臺設備上。CB Insights已將Neurala評為「100家最有前途的人工智慧公司」。多虧了它的那些擁有博士學位的創始人，他們讓Neurala的人工智慧軟體在包括智慧型手機在內的各種輕型設備上運行。這些軟體在各種設備上提供服務，包括個人電腦、智慧型手機、無人機、機器人和智能設備。

這些是可能可以幫助你建立基於人工智慧系統的最可靠和最好的公司。在盲目信任網際網路上的任何公司之前，強烈建議你先查看這些公司，它們可能可以幫助你降低成本，並為你提供最先進的服務。

原文：https://hackernoon.com/a-deep-learning-overview-nlp-vs-cnn-8gcj3222

追憶童年，教你用Python畫出兒時卡通人物如何用NLP輔助投資分析？三大海外機構落地案例詳解Gary Marcus：因果熵理論的荒誕和認知科學帶給AI的11個啟示 | 文末贈書AI 終極問題：我們的大腦是一臺超級計算機嗎？藉助大數據進行社交媒體營銷，企業們得這麼玩！力挺比特幣的世界第2交易員：僅次於索羅斯，連續25年無虧損

相關焦點

  • TensorFlow、PyTorch、Keras:NLP框架哪家強
    TensorFlow· 開發者：Google· 2017年1月發布1.0版本PyTorch· 開發者：Facebook· 2018年10月發布1.0版本· 基於Torch開發（Torch是基於Lua開發的另一個深度學習框架）Keras· 是一個高級API，降低了深度學習框架的複雜程度
  • 2019 年 NLP 領域都發生了哪些大事件?
    Mohammad 撰寫了一系列文章（閱讀地址：https://medium.com/@nlpscholar/state-of-nlp-cbf768492f90）討論 ACL 論文接收情況的歷時分析。谷歌人工智慧團隊發表了兩個自然語言對話數據集，旨在使用更複雜、更自然的對話數據集提升數字助理等對話應用程式的個性化程度。深度強化學習仍然是人工智慧領域中最廣為討論的話題之一，它甚至吸引了心理學和神經科學領域的興趣。
  • PaddlePaddle深度學習開源平臺:等待眾人划槳的中國AI大船
    一、 PaddlePaddle是什麼 我們說了很多歷史，也提到了一些舞臺上正興的機器學習平臺，而這篇文字，是想介紹一下一個新的選擇：來自百度的paddlepaddle。Paddle(Parallel Distributed Deep Learning，並行分布式深度學習)。
  • NLP三大特徵提取器全梳理:RNN vs CNN vs Transformer
    Transformer 彌補了以上特徵提取器的缺點，主要表現在它改進了 RNN 訓練速度慢的致命問題，該算法採用 self-attention 機制實現快速並行；此外，Transformer 還可以加深網絡深度，不像 CNN 只能將模型添加到 2 至 3 層，這樣它能夠獲取更多全局信息，進而提升模型準確率。
  • 使用深度學習構建先進推薦系統:近期33篇重要研究概述
    近一段時間，深度學習的發展在語音識別、圖像處理和自然語言處理領域取得了很多成果。此外，深度學習在推薦系統和信息檢索領域裡也得到應用。本文介紹了深度學習技術在推薦系統中的近期進展。全文從三部分來介紹：協作系統（Collaborative system）、基於內容的系統和混合系統。
  • 國內自然語言處理(NLP)研究組
    https://www.microsoft.com/en-us/research/group/natural-language-computing/www.microsoft.com百度自然語言處理百度自然語言處理 - 理解語言，擁有智能，改變世界nlp.baidu.com
  • PyTorch實現TPU版本CNN模型
    隨著深度學習模型在各種應用中的成功實施，現在是時候獲得不僅準確而且速度更快的結果。為了得到更準確的結果，數據的大小是非常重要的，但是當這個大小影響到機器學習模型的訓練時間時，這一直是一個值得關注的問題。為了克服訓練時間的問題，我們使用TPU運行時環境來加速訓練。
  • PTMs|2020最新NLP預訓練模型綜述
    背景「nlp、cv領域的傳統方法極度依賴於手動特徵工程」。例如nlp中的log-linear、CRF模型等，cv中各種抽取特徵的模型，如sift特徵等。深度學習中本質上是一種表示學習，能夠一定程度上避免手動的特徵工程。
  • 資料| CCF-NLP走進鄭州大學演講PPT
    回放視頻：https://www.yanxishe.com/events/ccf-nlp-zzu資料包括的分享內容：周明   演講主題：預訓練模型在多語言和多模態任務中的一些新進展周國棟   演講主題：自然語言與理解補充說明本站所有資源版權均屬於原作者所有
  • 用深度學習(CNN RNN Attention)解決大規模文本分類問題 - 綜述和...
    近來在同時做一個應用深度學習解決淘寶商品的類目預測問題的項目，恰好碩士畢業時論文題目便是文本分類問題，趁此機會總結下文本分類領域特別是應用深度學習解決文本分類的相關的思路、做法和部分實踐的經驗。業務問題描述：淘寶商品的一個典型的例子見下圖，圖中商品的標題是「夏裝雪紡條紋短袖t恤女春半袖衣服夏天中長款大碼胖mm顯瘦上衣夏」。
  • 無所不能的Embedding5 - skip-thought的兄弟們「Trim/CNN-LSTM/...
    作者定義了3種不同kernel_size=3/4/5的cnn cell，其實和n-gram的原理近似就是分別學習局部window_size=3/4/5的三種序列信息，因為cnn是共享參數的所以1個filter只能提取1種token組合的序列特徵，所以每個cnn cell都有800個filter。
  • 推薦算法系統/人臉識別/深度學習對話機器人高級實戰課
    包含了推薦算法系統實戰、深度學習人臉識別實戰、深度學習對話機器人實戰等高級前沿的精品課程，下面分別介紹下各個實戰項目：1、推薦算法系統實戰首先推薦系統不等於推薦算法，更不等於協同過濾。我們這個《深度學習TensorFlow對話機器人實戰全系列精品課》從TensorFlow深度學習框架原理以及主流的神經網絡算法講起，逐步由淺入深的給大家詳細講解對話機器人項目的原理以及代碼實現、並在公司伺服器上演示如何實際操作和部署的全過程！！ ！
  • NLP/CV模型跨界,視覺Transformer趕超CNN?
    10 月 2 日，深度學習領域頂級會議 ICLR 2021 論文投稿結束，一篇將 Transformer 應用於圖像識別的論文引起了廣泛關注。特斯拉 AI 負責人 Andrej Karpathy 轉發了該論文，並表示「樂見計算機視覺和 NLP 領域日益融合」。
  • 深度學習面試寶典(含數學,機器學習,深度學習,計算機視覺等)
    深度學習面試寶典這是一個在 github 上開源的 深度學習面試寶典，收集和整理了很多相關的知識。相關收集內容 自我介紹 數學 機器學習 深度學習 強化學習 計算機視覺 傳統圖像處理 自然語言處理 SLAM 推薦算法 數據結構與算法 程式語言 深度學習框架 面試經驗 面試技巧 其它深度學習001 神經網絡中的Epoch、Iteration、Batchsize神經網絡中epoch與iteration是不相等的batchsize：
  • 神經網絡並不是尚方寶劍,我們需要正視深度 NLP 模型的泛化問題
    從這些新動向上我們似乎應該對深度學習 NLP 解決方案的表現充滿信心，但是當我們真的仔細討論 NLP 模型的泛化能力時候，狀況其實並不樂觀。The Gradient 博客近期的一篇文章就仔細討論了 NLP 領域的深度學習模型的泛化性問題，展現了對學習、語言、深度學習方法等方面的諸多深入思考。
  • 吳恩達授課,斯坦福CS230深度學習課程資源開放
    課程簡介：深度學習是 AI 領域中最受歡迎的技能之一。這門課程將幫助你學好深度學習。你將學到深度學習的基礎，理解如何構建神經網絡，並學習如何帶領成功的機器學習項目。你將學到卷積神經網絡（CNN）、循環神經網絡（RNN）、長短期記憶網絡（LSTM）、Adam 優化器、Dropout 方法、BatchNorm 方法、Xavier/He 初始化方法等。
  • 何曉冬、陳博興、夏睿主講,張嶽、萬小軍主持,這場NLP知識盛宴不可...
    「CCF-NLP走進高校」系列分享是CCF-NLP為了促進更多師生對自然語言處理前沿進展的了解，幫助在校計算機及相關專業大學生成長和發展，特邀領域內的權威大牛們走進更多的高校，與師生進行溝通和交流，讓學術思想流動起來，共同學習進步
  • 基於Keras 對深度學習模型進行微調的全面指南 Part 1
    翻譯 | 楊東旭      校對 | 孟凡      整理 | MY這篇文章中，我們將對實踐中的微調做一個全面的概述，微調是深度學習中常用的方法。我將借鑑自己的經驗，列出微調背後的基本原理，所涉及的技術，及最後也是最重要的，在本文第二部分中將分步詳盡闡述如何在 Keras 中對卷積神經網絡模型進行微調。
  • 深度學習中的注意力機制(三)
    作者 | 蘑菇先生來源 | NewBeeNLP原創出品 深度學習Attenion小綜述系列：深度學習中的注意力機制（一）深度學習中的注意力機制（二）>目前深度學習中熱點之一就是注意力機制（Attention Mechanisms）。