你試過建立一個神經網絡模型來解決簡單的數學問題嗎

2020-12-06 讀芯術

全文共1516字，預計學習時長4分鐘

圖源：unsplash

你試過建立一個神經網絡模型來解決簡單的數學問題嗎？比如兩個數的乘法或一個數的平方？

如果有，那麼你可能會意識到神經網絡模型並不是用來解決這些簡單問題的。你通過一個相對複雜的模型得到類似一個數的平方的問題，這也不盡人意。

今天，在任何尖端技術中，數字的精確性非常重要，結果的一個微小變化可能會導致部署人工智慧的系統出現極大的故障。並不是說不能通過建立一個近乎完美的端到端神經網絡模型來直接回答數學問題，而是說，這樣完全沒有必要。

相反，我們可以使用人工智慧來理解數學問題或給定問題的數學部分，然後通過機器的運算單元來解決它。這將是解決數學問題最簡單、最可靠的方法，甚至在神經網絡模型中嵌入一個運算單元也可能有效。雖然目前尚不確定是否存在這樣的模型，但今天將深入研究一個能夠將複雜問題轉化為簡單解決方案的模型。

Facebook人工智慧的序列到序列（seq2seq）轉換模型可以解決上述問題。實際上，這是使用符號推理簡化高級數學方程。他們聲稱該模型是第一個這樣做的模型，在解決積分問題和微分方程方面比傳統計算系統更加有效。

樹形數學

假設一個方程b-4ac=12。

這些變量不能直接加、減或乘。因此，求解此類方程需要處理符號數據的能力。研究人員開發了一種將數學表達式看作語言中句子的方法，這使得他們能夠利用神經機器翻譯（NMT）中的成熟技術來訓練模型，以解出這些複雜的方程。

因此，研究人員開發了一種將現有數學表達式分解為類語言語法的方法，還生成了一個包含超過1億個大規模訓練對方程和解的數據集。

圖源：量子雜誌

首先，他們開發了一種有效將方程組解壓成樹狀結構的方法。現在這個結構可以轉換成序列，與序列到序列（seq2seq）模型一起使用。相較於一種語言的句子，數字和變量類似於名詞，而運算符號和函數類似於動詞。對於方程式4x+sin（3x）-2，順序如下——加，乘，4，冪，x，2，減，正弦，乘，3，x，2。

研究人員隨後生成了一組約1億對方程和解的數據集。這些數據被輸入一個有8個注意頭和6層的序列到序列（seq2seq）變壓器模型。為了測試模型的性能，研究人員為模型提供了5000對不可見的方程組，這些方程組不存在於訓練數據集中。

圖源：Facebook 人工智慧博客

該模型求解積分問題的精準度為99.7%，一階、二階微分方程的精準度分別為94%和81.2%。這些結果是研究人員測試的其他三種傳統方法（Maple、Mathematica和Matlab）中最好的，也是最快的，在不到半秒鐘的時間內返回大多數解，而其他方法則需要幾分鐘時間，甚至更多。

對於給定的輸入，該模型還能夠提供多種簡化解決方案，這與翻譯輸入句在許多方面類似。但是這種模型目前只能解決一個變量的問題，研究人員正計劃開發該模型來求解多變量方程組。同時他們還建議，這種方法可以應用於如物理這樣的數學和邏輯基礎領域。

留言點讚關注

我們一起分享AI學習與發展的乾貨

如轉載，請後臺留言，遵守轉載規範

相關焦點

  • 【深度】機器學習進化史:從線性模型到神經網絡
    Google實現了分布神經網絡，也得到了更多回報，如今，每個人都希望他們也能像Google一樣獲得成功，但是好事兒不會發生兩次。為什麼一個支持向量機或邏輯回歸比神經網絡更容易實現分布？首先，評估一個支持向量機要簡單得多。當你學習了一個支持向量機模型或邏輯回歸模型（或者任何一個線性模型）之後，實際評估就會非常快。
  • 神經網絡還能求解高級數學方程?
    通過開發一種將複雜數學表達式表示為一種語言的新方法，然後將解決方案視為序列到序列的神經網絡的翻譯問題，我們構建了一個在解決積分問題以及一階和二階微分方程方面都優於傳統計算系統的系統。以前，這類問題被認為是深度學習模型所無法企及的，因為求解複雜方程需要精度而不是近似值。
  • 「符號數學」終於向「神經網絡」屈服:AI 學會數學證明了?
    但是，在一個很惹眼的領域神經網絡始終滯後，那就是：解決困難的符號數學問題。包括微積分課程的標誌，比方說積分或常微分方程。障礙源於數學本身的屬性，那需要有精確的解決方案。但神經網絡擅長的往往是概率。他們學會了識別模式——比如哪個西班牙語翻譯聽起來是最好的，或者你的臉型看起來怎樣——還可以生成新的模式。 這種情況在去年年底的時候發生了改變。
  • 大量示例+簡單圖像!帶你讀懂神經網絡
    邏輯回歸分析解決了預測一個人患有心臟病概率的問題，P(y=1)，給定輸入值X。邏輯回歸模型使用一個邏輯來對P(y=1)建模 :因此，該模型將用S形曲線預測 P(y=1) ，S形曲線是邏輯函數的一般形狀。
  • 人工智慧算法問題——正則化解決神經網絡中的過度擬合
    過度擬合是一個很大的問題，尤其是在深度神經網絡中。如果你正在懷疑你的神經網絡過度擬合了。有很多方法可以確定過度擬合了數據，也許有一個高方差問題，或者繪製了一個訓練圖和測試精度圖，然後發現過度擬合了。在這種情況下，我們應該怎麼辦呢？
  • 極簡機器學習課程:使用Python構建和訓練一個完整的人工神經網絡
    數據準備好後，就可以用它訓練一個模型了。機器學習中有大量的模型，本文訓練的是當前特別火的人工神經網絡。Ps：把數據放進模型之前，我們需要考慮數據單位間的差異。2.正向傳播上一節我們建立了神經網絡，這次我們將用Python程式語言來實現它。
  • 你的大腦與人工神經網絡有本質區別嗎?答案令人驚訝!
    人工智慧真的不能解釋嗎？ 神經科學家普遍認為，大腦的複雜功能可以分解成簡單的、可解釋的模型。 比如分析麝香貓圖片的複雜心理過程(在你知道它的名字之前) ，它肯定不是一隻鳥，因為它沒有羽毛和翅膀， 當然也不是一條魚。
  • 神經網絡的性能竟然優於神經符號模型
    而Neural-Symbolic，本質上其實是將現代數學中的分析學和代數學結合的產物。 分析學擅長處理數值、函數、逼近等問題, 代數學擅長處理推演、抽象、結構等問題，如果能適當將兩者結合，會有很可觀的效果。
  • 神經網絡原來是這樣和數學掛鈎的
    將神經元的工作在數學上抽象化，並以其為單位人工地形成網絡，這樣的人工網絡就是神經網絡。將構成大腦的神經元的集合體抽象為數學模型，這就是神經網絡的出發點。對於用神經網絡實現的人工智慧，人們只需要簡單地提供數據即可。神經網絡接收數據後，就會從網絡的關係中自己學習並理解。如此看來，神經網絡似乎有一些不可思議的邏輯。
  • 從Y = X到構建完整的人工神經網絡
    在本教程中，我們打算回答那些問題，我們從最簡單的人工神經網絡（ANN）做起，一直到複雜得多的模型。讓我們從構建一個沒有參數的機器學習模型開始，即Y=X。然後，我們將逐步增加一些參數到模型中，直到我們建立了一個單個神經元，這個神經元被設計成接收一個或多個輸入。接著，神經元從數學公式映射成圖形形式。通過連接多個神經元，就能生成一個完整的ANN。
  • 神經網絡：高深莫測又妙趣橫生的完整歷史
    神經網絡在過去一個世紀中經歷了不同的階段，一開始被視為擁有廣大解決複雜計算問題的工具，逐漸被嘲笑為僅僅是一個理論思想，最後因是更理想未來的締造者而聞名。 讓我們按時間順序重溫神經網絡歷史上的每個階段。 1943年，麥卡洛克（McCulloch）和皮茨（Pitts）為單個神經元建立了第一個數學模型。所建立的神經元模型全面而深遠。這個模型經過修改，甚至在現代也得到了廣泛的應用。 這給神經網絡的研究人員和實踐者帶來了思想上的巨大轉變。
  • 神經網絡模型預測值 論文_bp神經網絡預測模型建模步驟 - CSDN
    在下圖的基本神經元結構後面，你會看到詳細的講解：基本的人工神經網絡神經元（basic neural network cell）相當簡單，這種簡單的類型可以在常規的前饋人工神經網絡架構裡面找到。這種神經元與其它神經元之間的連接具有權重，也就是說，它可以和前一層神經網絡層中的所有神經元有連接。
  • 盤點| 機器學習入門算法:從線性模型到神經網絡
    預測問題分為兩大類： 現在我們已經介紹了機器學習在預測方面的應用，我們可以討論機器學習算法，其分為 3 個組別：線性模型（linear models）、樹型模型（tree-based models）、和神經網絡（neural networks）。
  • 使用PyTorch建立你的第一個文本分類模型
    這是一個關鍵的問題，甚至可能導致信息的丟失。為了處理詞彙量不足的單詞，PyTorch支持一個很好的功能，它用未知的token替換訓練數據中的稀有單詞。這反過來又幫助我們解決了詞彙量不足的問題。除了處理詞彙之外，PyTorch還有一個可以處理可變長度序列的特性!2. 處理可變長度序列你聽說過循環神經網絡是如何處理可變長度序列的嗎?
  • BP神經網絡
    BP神經網絡原理 人工神經網絡是一種數學模型，它具有人類神經網絡的一些特質，並且有自學習的能力，一般由MATLAB軟體來實現。與傳統統計方法不同之處是神經網絡是通過訓練實驗來找到解決問題的路徑。
  • 用飛槳做自然語言處理:神經網絡語言模型應用實例
    但這種方法會有一個很大的問題，那就是前面提到的維度災難，而這裡要實現的神經網絡語言模型（Neural Network Language Model），便是用神經網絡構建語言模型，通過學習分布式詞表示（即詞向量）的方式解決了這個問題。
  • 深度| 清華大學自動化系張長水教授:神經網絡模型的結構優化
    不管怎麼說，深度學習模型在傳統的很多機器學習問題和相關問題上，都取得了令人矚目的突破和進展。我舉幾個例子，比如圖像識別。圖像識別是這樣一個問題：有一張圖像，需要識別這個圖像是貓、是狗、是計算機、是羽毛球拍？在2012年的深度學習網絡用於解決問題時，有了很大的突破。除此之外還有其他的問題，比如圖像描述、機器翻譯、語音識別。
  • 神經網絡及其背後的數學——簡化概念,人人都可以理解
    網絡層1.什麼是圖層基本上，將多個神經元平行或串聯地堆疊在一起就構成了一個層。但正如你可能明顯預期的那樣，這其中的意義遠不止是隨意堆積神經元。每個網絡都是為特定的任務而構建的，因此它有不同的層，以不同的方式組裝。
  • 基於深度神經網絡的脫硫系統預測模型及應用
    北極星大氣網訊:摘要本文建立了一個隱含層包含一個長短期記憶層（Long-short Term Memory, LSTM）、兩個線性整流函數層（Rectified Linear Unit, ReLU）、兩個全連接層（Fully Connected Layer）和輸入、輸出層組成的深度神經網絡用於脫硫系統主要指標預測。
  • 如今統治機器學習的深度神經網絡,也曾經歷過兩次低谷
    深度學習所依附的神經網絡技術起源於上世紀50年代，那個時候還叫感知機（Perceptron）。在人工神經網絡領域中，感知機也被指為單層的人工神經網絡，儘管結構簡單，卻能夠學習並解決相當複雜的問題。雖然最初被認為有著良好的發展潛能，但感知機最終被證明存在著嚴重的不可逾越的問題：它只能學習線性可分函數。連簡單的異或（XOR映射）等線性不可分問題，都無能為力。