吳恩達團隊提出NGBoost梯度提升方法

2020-12-05 智東西

10月14日消息，在論文《NGBoost: Natural Gradient Boosting for Probabilistic Prediction》中，來自斯坦福的研究者們提出了NGBoost梯度提升方法，以解決現有梯度提升方法難以處理的通用概率預測中的技術難題。據悉，這種新提出的方法是模塊化的，基礎學習器、概率分布和評分標準都可靈活選擇。研究者在多個回歸數據集上進行了實驗，結果表明NGBoost在不確定性估計和傳統指標上的預測表現都具備競爭力。

相關焦點

  • 斯坦福吳恩達團隊提出NGBoost:用於概率預測的自然梯度提升
    NGBoost 梯度提升方法以解決現有梯度提升方法難以處理的通用概率預測中的技術難題。 自然梯度提升（NGBoost / Natural Gradient Boosting）是一種算法，其以通用的方式將概率預測能力引入到了梯度提升中。預測式不確定性估計在醫療和天氣預測等很多應用中都至關重要。概率預測是一種量化這種不確定性的自然方法，這種模型會輸出在整個結果空間上的完整概率分布。
  • 斯坦福發表NGBoost算法
    該算法利用自然梯度將不確定性估計引入到梯度增強中。本文試圖了解這個新算法，並與其他流行的 boosting 算法 LightGBM 和 XGboost 進行比較，以了解它在實踐中是如何工作的。經驗驗證——與 LightGBM 和 XGBoost 的比較結論1.什麼是自然梯度增強？正如我在簡介中所寫那樣，NGBoost 是一種新的 boosting 算法，它使用自然梯度 boosting，是一種用於概率預測的模塊化 boosting 算法。
  • 吳恩達授課,斯坦福CS230深度學習課程資源開放
    課程主要內容CS230 與吳恩達在 Coursera 上的深度學習專項課程一樣分 5 部分，即神經網絡與深度學習、提升深度神經網絡、機器學習項目的策略、卷積神經網絡及序列模型。在第一課中介紹了神經網絡和深度學習的基礎。主要在課堂內介紹了深度學習的直觀概念，並藉助兩個模塊從頭開始學習神經網絡到底是什麼。
  • 吳恩達演講直指AI落地三大挑戰,並提出解決方案
    吳恩達演講直指AI落地三大挑戰，並提出解決方案 2020-11-05 07:32 來源：澎湃新聞·澎湃號·湃客
  • 吳恩達團隊最新醫學影像成果:肺炎診斷準確率創新高
    文 | 李雨晨來自雷鋒網（leiphone-sz）的報導深度學習著名學者吳恩達和他在史丹福大學的團隊一直在醫療方面做著努力雷鋒網了解到，此前，吳恩達團隊研發出一種深度學習算法，可以診斷14種類型的心律失常。近日，該團隊又出新成果，他們提出了一種名為 CheXNet 的新技術。研究人員表示：新技術已經在識別胸透照片中肺炎等疾病上的準確率上超越了人類專業醫師。研究人員開發的這種全新算法，能夠從胸透照片裡檢測肺炎，且水平超越專業放射科醫生。
  • 吳恩達團隊發布最新醫學影像成果,用 CNN 算法識別肺炎
    雷鋒網了解到，此前，吳恩達團隊研發出一種深度學習算法，可以診斷14種類型的心律失常。近日，該團隊又出新成果，他們提出了一種名為 CheXNet 的新技術。研究人員表示：新技術已經在識別胸透照片中肺炎等疾病上的準確率上超越人類專業醫師。研究人員稱，開發的這種算法從胸透照片裡檢測肺炎，且水平超越專業放射科醫生。算法被稱為 CheXNet，它是一個 121 層的卷積神經網絡。
  • 吳恩達被diss了
    夏乙 嶽排槐 發自 凹非寺量子位 出品 | 公眾號 QbitAI吳恩達團隊可能沒想到突然被diss。
  • 深度森林第三彈:周志華組提出可做表徵學習的多層梯度提升決策樹
    自去年周志華等研究者提出了「深度森林」以後，這種新型的層級表徵方式吸引了很多研究者的關注。今日，南京大學的馮霽、俞揚和周志華提出了多層梯度提升決策樹模型，它通過堆疊多個回歸 GBDT 層作為構建塊，並探索了其學習層級表徵的能力。此外，與層級表徵的神經網絡不同，他們提出的方法並不要求每一層都是可微，也不需要使用反向傳播更新參數。
  • 梯度提升算法
    在上一篇介紹提升樹模型時，我們用到的損失函數一般都是指數函數或者平方函數，這些函數都比較容易求導，也能很方便的求出優化後的結果。 但對於更為一般的損失函數而言，求解優化的過程並沒有那麼簡單。為此，Friedman提出了梯度提升算法。
  • 吳恩達deeplearning.ai五項課程完整筆記了解一下?
    項目地址：https://github.com/mbadry1/DeepLearning.ai-Summary上周吳恩達在推特上展示了一份由 TessFerrandez 完成的深度學習專項課程信息圖，這套信息圖優美地記錄了深度學習課程的知識與亮點。這一份信息圖的詳細介紹請查看：這是一份優美的信息圖，吳恩達點讚的 deeplearning.ai 課程總結 。
  • 吳恩達創業關你什麼事?
    雖然這也可能指向用於深度學習的專用硬體晶片，但我們更傾向於認為，這更可能是一種吳恩達更為擅長的軟體解決方案。谷歌CEO Sundar Pichai上個月在I/O 大會上提出了 AutoML——它將使神經網絡的設計過程自動化。如果現在要說一個公司的名字，這個公司將以此技術為基礎並最終商業化，那也許就是Deeplearning.ai。
  • 直接對梯度下手,阿里提出新優化技巧,一行代碼即可改善現有優化器
    比如批歸一化、權重標準化……但現有的優化方法大多基於激活或權重執行，最近阿里達摩院的研究者另闢蹊徑，直接對梯度下手，提出全新的梯度中心化方法。只需一行代碼即可嵌入現有的 DNN 優化器中，還可以直接對預訓練模型進行微調。優化技術對於深度神經網絡 (DNN) 的高效訓練至關重要。
  • 302頁吳恩達Deeplearning.ai課程筆記,詳記基礎知識與作業代碼
    當然，還介紹了必要的損失函數與反向傳播方法。而在第二門課程中，該筆記詳細記錄了提升深度網絡性能所需要的技巧與基礎，例如初始化、正則化和梯度檢驗等在實踐上大大提升模型性能的方法，以及一般 SGD、動量法和適應性學習率方法等常見的最優化方法。最後，第二門課程重點介紹了 TensorFlow，包括該框架的常用函數和實際構建網絡的過程等。
  • 依圖團隊提出新一代移動端網絡架構MobileNeXt
    最近，依圖團隊發表在ECCV的一篇論文，提出了新一代移動端神經網絡架構MobileNeXt，大大優於谷歌的MobileNet、何愷明團隊提出的ResNet等使用倒殘差結構的模型，為移動端算力帶來了新的突破。
  • 吳恩達深度學習筆記(34)-你不知道的其他正則化方法
    其他正則化方法（Other regularization methods）除了L2正則化和隨機失活（dropout）正則化，還有幾種方法可以減少神經網絡中的過擬合:一.數據擴增假設你正在擬合貓咪圖片分類器，如果你想通過擴增訓練數據來解決過擬合，但擴增數據代價高，而且有時候我們無法擴增數據，但我們可以通過添加這類圖片來增加訓練集
  • 高效「煉丹」必備技能:一文實現深度學習數學原理入門,還有吳恩達...
    除了DLP，文末還一併為你準備了RNN、CNN數學原理，以及吳恩達老師的AI數學基礎課程。一文實現AI數學基礎入門，還在等什麼？多層感知機的數學表達多層感知機的數學表達分為4個部分：學習算法、參數初始化、激活函數、優化函數。
  • 吳恩達機器學習筆記 - 線性回歸、代價函數與梯度下降
    一、基本概念1.1 機器學習的定義一個年代近一點的定義，由來自卡內基梅隆大學的 Tom Mitchell 提出，一個好的學習問題定義如下：一個程序被認為能從經驗 E 中學習，解決任務 T，達到性能度量值 P，若且唯若，有了經驗 E 後，經過 P 評判，程序在處理 T 時的性能有所提升。
  • 速度提升、準確率更勝一籌,周志華等人提出可微XGBoost算法sGBM
    梯度提升機（GBM）的重要性無需多言，但傳統的 GBM 仍存在一些固有缺點。近日，南京大學周志華, 創新工場馮霽等人提出了一種新型的軟梯度提升機（sGBM），並基於此構建了新型的軟梯度提升決策樹（sGBDT），作為XGBoost的替代性模型。相比於傳統的「硬」GBM，sGBM 在準確度、訓練時間和增量學習，多維度回歸等多方面都有更優的表現。
  • 學界 | 吳恩達團隊展示全新醫療影像識別技術:肺炎診斷準確率超過人類醫生
    選自Stanford ML Group作者：Pranav Rajpurkar等機器之心編譯參與：李澤南機器學習在醫療領域的應用一直是 AI 的重要發展方向，深度學習著名學者吳恩達和他在史丹福大學的團隊一直在這一方面做著努力
  • 吳恩達悄然發布 AI 維基,另外他的技術崗已經招滿了-虎嗅網
    虎嗅註：似乎從百度離職之後，吳恩達回歸教育事業老本行，施展更加自如了。本文轉載自量子位，作者問耕。吳恩達又有新動作。wiki首先來說第一個。這個長假期間，吳恩達團隊在deeplearning.ai上悄然發布了一個新項目：AI維基百科。這個維基百科還向學習者們發出號召：一起來貢獻內容。目前這個維基有12個頁面，分別對應：歡迎、概述（神經網絡）、數學（導數、向量）、平臺和工具（Python、深度學習框架）、分類器、激活函數、超參數調整、代價函數等。