眼底在什麼位置圖片_眼底彩圖和視網膜眼底圖 - CSDN

本文經AI新媒體量子位（公眾號ID:qbitai ）授權轉載，轉載請聯繫出處

本文約一萬字，建議閱讀10+分鐘。

學術和應用兩開花，開源和新技術同步推進。

剛剛，Jeff Dean代表Google AI，完整總結了2018。

這也是姐夫作為全球AI第一大廠總負責人的第一次年度匯報。

他說，2018真是令AI工作者興奮的一年。

學術和應用兩開花，開源和新技術同步推進。

從重要AI技術應用突破講起，到展望2019結束。Jeff Dean總結了14個大方面的AI成果，並透露全年AI論文發表數達608篇。

涵蓋量子計算、感知技術、計算攝影、算法框架、AutoML、機器人、醫療AI，計算力和TPU……

樁樁件件，不僅在當前推動了AI作用社會方方面面，而且也是對未來趨勢的小小展示。

毫不誇張地說，欲知2018 AI技術進展，看Jeff這篇總結再合適不過；欲知2019 AI會走向何方，看Jeff這篇也能獲益良多。

為了方便閱讀，我們先整理了一個小目錄給你：

• 智能助手：打電話回郵件，都靠AI

• 量子計算：72量子比特設備、開源框架、可行的量子神經網絡……

• 自然語言理解：從Transformer到BERT，碾壓各項NLP任務

• 感知：圖像識別和場景理解，語音增強與合成

• 拍照：照片動起來，夜景亮起來

• 算法和理論：谷歌帝國基石，從優化、算法選擇到應用

• 軟體系統：Mesh TensorFlow、TF-Ranking、JAX、隱私與安全

• AutoML：自動找出最高效的網絡結構

• TPU：給全世界提供大量算力

• 開源軟體和數據集：遠不止多巴胺，大量資源預警

• 機器人學：從多個角度入手，讓機器人更獨立，更強大

• 人工智慧在其他領域的應用：物理學、生命科學、天文學

• 醫療：從視網膜診斷病症到癌症預測，從輔助診斷到拓展到臨床預測

• 合作研究：投入大量資源資助教師、學生和各方面研究人員進行研究

• 新地方、新面孔：持續在世界各地擴張，並廣納人才

• 展望2019：對谷歌以及更廣泛的研究和工程領域產生更大影響

• AI原則：Google AI歷史性指導準則，爭議性軍事項目之後制定了7大原則

• AI社會公益：展示Google利用AI技術推動社會公益的案例

完整報告如下：

智能工具們

Google AI也在不斷打造新技術應用幫助用戶提升效率，創造更大的社會價值。

簡而言之：努力打造Google AI小助手工具產品。

2018最典型的莫過於Google Duplex，這是一個匯集語音識別、語義理解和對話的AI系統，可以作為你的虛擬電話助手，訂餐廳、預約會議時間都不在話下。

還有Smart Compose——智能回復。能夠基於語義分析和文本預測，幫助用戶提升郵件回復的效率。

同樣的還有Sound Search和Smart Linkify，都是AI提升用戶效率的嘗試。

Google目前也在圍繞上述AI產品，展開多語言支持的努力，希望類似的產品通過小數據訓練學習，就能對全球更多地區和用戶產生更好的影響。

相關報導視頻：

Google AI打電話以假亂真

量子計算

量子計算是一種新興的計算範式，有望解決經典計算機無法解決的問題。

在過去的幾年裡，我們一直積極進行相關的研究，我們相信該領域正處在實現量子霸權能力的轉折階段，這將是量子計算領域的一個分水嶺。

2018年，我們取得了許多令人興奮的成果，開發了一種新的72量子比特的量子計算設備Bristlecone。在邁向量子霸權的過程中，這臺設備擴展了量子計算機可以解決問題的規模。

科學家Marissa Giustina在聖巴巴拉的量子AI實驗室安裝了Bristlecone晶片

我們還發布了量子計算機的開源編程框架Cirq，並探討了量子計算機如何用於神經網絡。

此外，我們還分享了理解量子處理器性能波動的經驗與技術，以及量子計算機如何作為神經網絡計算底層的一些想法。

2019年，我們期待在量子計算領域取得激動人心的成果！

自然語言理解

谷歌的自然語言研究在2018年取得了令人興奮的成果，既有基礎研究，也有以產品為中心的研究。

從2017年起，我們開始對Transformer進行改進，去年開發了一個名為「通用Transformer」模型的新的並行時間版本，該版本顯示了包括翻譯和語言推理在內的許多自然語言任務上的巨大進步。

相關論文：

Universal Transformers

https://arxiv.org/pdf/1807.03819.pdf

我們還開發了BERT，這是第一個深度雙向、無監督的語言表示，僅使用純文本語料庫進行預訓練，然後可以使用遷移學習對各種自然語言任務進行微調。

在11項自然語言任務上，BERT比以往最先進成果有顯著的改進。

BERT在極具挑戰性的GLUE基準測試中提高了7.6％的成績

除了與各種研究團隊合作以實現AI幫助寫郵件（Smart Compose）和虛擬電話助手（Duplex）外，我們還努力使谷歌智能助手能夠更好地處理多語言使用案例，目標是使助手能與所有用戶進行自然的對話。

感知

我們的感知研究解決了讓計算機理解圖像、聲音、音樂和視頻的難題，並為圖像捕捉、壓縮、處理、創造性表達和增強現實提供了更強大的工具。

2018年，我們的技術提高了Google Photos組織照片的能力，這項功能也是用戶最關心的內容，比如給人和寵物照片分組。

Google Lens能識別狗的種類

Google Lens和Google Assistant使用戶能夠了解周圍世界，實時獲取問題的答案，還能在讓你在谷歌圖像搜索中做更多的事情。

Google Lens讓你從照片中直接拷貝文字

谷歌AI使命的一個關鍵方面是讓其他人從我們的技術中受益，我們在改進Google API一部分的功能和構建模塊方面取得了很大進展。

例如Cloud ML API中視覺和視頻方面的改進和新功能，以及通過ML工具包在面部識別相關的設備上構建模塊。

相關工具：

https://cloud.google.com/blog/products/ai-machine-learning/closer-look-our-newest-google-cloud-ai-capabilities-developers

2018年，我們對學術研究的貢獻包括在3D場景理解的深度學習方面的進步，例如立體放大（Stereo Magnification），這使我們得能夠用多張圖像合成場景的逼真視圖。

相關論文：

Stereo Magnification: Learning View Synthesis using Multiplane Images
https://arxiv.org/abs/1805.09817

我們正在進行關於更好地理解圖像和視頻的研究，使用戶能夠在谷歌產品中找到、組織、增強和改善圖像和視頻，比如Google Photos、YouTube、搜索等等。

2018年，我們取得了多項顯著的進步，包括：

PersonLab: Person Pose Estimation and Instance Segmentation with a Bottom-Up, Part-Based, Geometric Embedding Model
https://arxiv.org/abs/1803.08225

MoSculp: Interactive Visualization of Shape and Time
http://mosculp.csail.mit.edu

Actor-Centric Relation Network
https://arxiv.org/abs/1807.10982

D3D: Distilled 3D Networks for Video Action Recognition
https://arxiv.org/abs/1812.08249

Rethinking Spatiotemporal Feature Learning: Speed-Accuracy Trade-offs in Video Classification
https://arxiv.org/abs/1712.04851

在音頻領域，我們提出了一種無監督學習語義音頻表示的方法，並且顯著改進了語音合成，讓它更生動、更像人類。

相關論文：

Unsupervised Learning of Semantic Audio Representations
https://ieeexplore.ieee.org/abstract/document/8461684

Towards End-to-End Prosody Transfer for Expressive Speech Synthesis with Tacotron
https://arxiv.org/abs/1803.09047

多模態感知是一個越來越重要的研究課題。Looking to Listen將輸入視頻中的視覺和聽覺提示結合起來，分離並增強視頻中說話者的聲音。

相關論文：

Looking to Listen at the Cocktail Party: A Speaker-Independent Audio-Visual Model for Speech Separation
https://arxiv.org/abs/1804.03619

這項技術可以支持一系列應用：從視頻中的語音增強和識別，到視頻會議，再到改進的助聽器，尤其是在有多人說話的情況下。

在資源受限的平臺上實現感知變得越來越重要。MobileNetV2是谷歌的下一代移動計算機視覺模型，廣泛應用於學術界和工業界。

相關論文：

MobileNetV2: Inverted Residuals and Linear Bottlenecks
http://openaccess.thecvf.com/content_cvpr_2018/papers/Sandler_MobileNetV2_Inverted_Residuals_CVPR_2018_paper.pdf

MorphNet提出了一種學習深層網絡結構的有效方法，這種方法可以在計算資源受到限制時，全面提高圖像和音頻模型的性能，最近在自動生成行動網路架構方面的工作表明，實現更高的性能也是可能的。

相關論文：

MorphNet: Fast & Simple Resource-Constrained Structure Learning of Deep Networks
http://openaccess.thecvf.com/content_cvpr_2018/html/Gordon_MorphNet_Fast__CVPR_2018_paper.html

拍照算法

過去幾年中，手機相機的拍照質量和功能提升十分顯著，雖然手機實際物理傳感器的進步是一方面，不過更大的進步則是拍照算法方面的。

我們的研究團隊發布了新技術，與Google的安卓和消費者硬體團隊密切合作，讓這項新技術在最新的Pixel等安卓手機和其他設備上落地。

2014年，我們發布了HDR+，一種依靠計算機軟體將單幀對齊融合的技術。HDR+最初應用的主要目的是為了讓圖片比單次曝光有更大的動態範圍，但隨後，拍攝動態幀並計算分析成為了2018年相機進步的一種通用方式。例如Pixel 2中的動態照片（Motion Photos）功能和動態劇照（Motion Stills）裡的AR模式。

Pixel 2中的動態照片功能

動態劇照裡的AR雞

相關博客：

動態照片
https://ai.googleblog.com/2018/03/behind-motion-photos-technology-in.html

動態劇照AR模式
https://ai.googleblog.com/2018/02/the-instant-motion-tracking-behind.html

2018年，我們在拍照算法方面的主要工作之一就是創造了夜視（Night Sight）功能，讓Pixel手機的相機能看到黑暗中的物體，這項功能贏得了媒體和用戶的讚譽。

當然，夜視只是我們團隊開發的多種幫助用戶攝影的軟體功能之一，另外還有用機器學習提供更好的人像模式、用Super Res Zoom看得更清晰更遠、用Top Shot和Google Clips捕捉更好的瞬間。

左為iPhone XS的效果，右為Pixel夜視

相關博客：

機器學習人像模式
https://ai.googleblog.com/2018/11/learning-to-predict-depth-on-pixel-3.html

Super Res Zoom
https://ai.googleblog.com/2018/10/see-better-and-further-with-super-res.html

Top Shot
https://ai.googleblog.com/2018/12/top-shot-on-pixel-3.html

Google Clips
https://ai.googleblog.com/2018/05/automatic-photography-with-google-clips.html

算法和理論

算法是Google系統的基幹，關係到我們所有產品，從Google Trips旅行App背後的路徑選擇算法，到谷歌雲的哈希一致性校驗都是如此。

相關論文：

Consistent Hashing with Bounded Loads
https://arxiv.org/abs/1608.01350

過去一年，我們繼續研究算法和理論，覆蓋了從理論基礎到應用算法，從圖數據挖掘到隱私保護計算。

我們在優化方面的工作涉及到機器學習的持續優化、分布式組合優化等領域。

在持續優化上，我們研究隨機優化算法訓練神經網絡的收斂性的工作，展示了ADAM變體等一些流行的基於梯度優化方法存在的問題，但也為新的基於梯度的優化算法提供了監視的基礎，獲得了ICLR 2018最佳論文。

相關論文：

On the Convergence of Adam and Beyond
https://openreview.net/forum?id=ryQu7f-RZ

上圖就是ADAM和AMSGRAD在一個簡單一維凸問題模擬例子上的性能對比，左中兩幅是在線設置，最右一幅是隨機設置。

在分布式優化上，我們努力提高一些經過充分研究的組合優化問題的循環和通信複雜性，比如通過round compression、core-sets、以及子模塊最大化、k核分解等進行圖匹配。

相關論文：

Round Compression for Parallel Matching Algorithms
https://dl.acm.org/citation.cfm?id=3188764

Optimal Distributed Submodular Optimization via Sketching
https://dl.acm.org/citation.cfm?id=3220081

Parallel and Streaming Algorithms for K-Core Decomposition
http://proceedings.mlr.press/v80/esfandiari18a/esfandiari18a.pdf

在更多應用層面，我們開發的算法技術，能通過sketching實現大規模集合覆蓋，能為數萬億邊的圖解決平衡分區和分層聚類問題。

我們關於online delivery services的工作，還獲得了WWW』18會議的最佳論文呢提名。

相關論文：

Minimizing Latency in Online Ride and Delivery Services
https://dl.acm.org/citation.cfm?doid=3178876.3186104

最後，我們的開源優化平臺OR-tools在Minizinc約束規劃競賽中獲得了4枚金牌。

平臺主頁：

https://developers.google.com/optimization/

在算法選擇理論中，我們提出了新的模型，研究了重建（reconstruction）問題、學習多項logit混合問題。我們還研究了可通過神經網絡學習的函數類，以及如何使用機器學習來改進經典在線算法。

相關論文：

A Discrete Choice Model for Subset Selection
https://dl.acm.org/citation.cfm?doid=3159652.3159702

Discrete Choice, Permutations, and Reconstruction
https://epubs.siam.org/doi/10.1137/1.9781611975031.38

Learning a Mixture of Two Multinomial Logits
http://proceedings.mlr.press/v80/chierichetti18a.html

Convergence Results for Neural Networks via Electrodynamics
http://drops.dagstuhl.de/opus/volltexte/2018/8352

Improving Online Algorithms via ML Predictions
http://papers.nips.cc/paper/8174-improving-online-algorithms-via-ml-predictions

對Google來說還有一件事非常重要，那就是理解具有強隱私保障的學習技術。

在這一領域，我們開發了兩種新方法，分析如何通過迭代和混排來強化差分隱私。

我們還運用差分隱私技術，設計了對博弈具有魯棒性的激勵感知學習方法。這樣的學習技術可以用於高效在線市場設計。

相關論文：

Privacy Amplification by Iteration
https://ieeexplore.ieee.org/abstract/document/8555134

Amplification by Shuffling: From Local to Central Differential Privacy via Anonymity
https://epubs.siam.org/doi/abs/10.1137/1.9781611975482.151

Incentive-Aware Learning for Large Markets
https://dl.acm.org/citation.cfm?id=3186042

我們在市場算法領域的新研究，還包括幫助廣告主測試廣告競價激勵兼容性的技術，優化App內廣告刷新的技術等。

相關論文：

Testing Incentive Compatibility in Display Ad Auctions
https://pdfs.semanticscholar.org/30a7/773faea229efa6a47178c396ef7b9617fcef.pdf

Optimizing Ad Refresh In Mobile App Advertising
https://dl.acm.org/citation.cfm?id=3186045

我們也推動了重複拍賣動態機制的發展，展示了對缺乏未來預測、對嘈雜預測、對異質買方行為具有魯棒性的動態拍賣機制，還把研究結果擴展到動態雙重拍賣上。

最後，關於在線優化、在線學習的魯棒性，我們開發了新的在線分配算法，用於流量峰值的隨即輸入，以及對損壞的數據具有魯棒性的新型bandit算法。

軟體系統

我們在軟體系統方面的一大部分研究依然是在建設機器學習模型和TensorFlow上。

例如，我們發布了TensorFlow 1.0動態流程控制的動態設計與實踐，我們的一些新研究引入了一個我們稱之為Mesh TensorFlow的系統，這使得用模型並行指定大規模分布式計算變得容易，有時會有數十億個參數。

相關論文：

The Case for Learned Index Structures
https://arxiv.org/abs/1712.01208

Dynamic Control Flow in Large-Scale Machine Learning
http://delivery.acm.org/10.1145/3200000/3190551/a18-yu.pdf

Mesh-TensorFlow: Deep Learning for Supercomputers
https://papers.nips.cc/paper/8242-mesh-tensorflow-deep-learning-for-supercomputers

另一個例子是，我們發布了一個使用TensorFlow的可擴展深度神經排序庫。

TF-Ranking支持多項目評分體系結構，這是傳統單項評分的擴展。

相關論文：

TF-Ranking: Scalable TensorFlow Library for Learning-to-Rank
https://arxiv.org/abs/1812.00073

我們還發布了JAX，這是一個加速器支持的NumPy變體，支持自動將Python函數區分為任意順序。雖然JAX不是TensorFlow的一部分，但它利用了一些相同的底層軟體基礎架構（例如XLA），並且它的一些想法和算法對我們的TensorFlow項目有所幫助。

相關開源項目：

JAX
https://github.com/google/jax

最後，我們繼續研究機器學習的安全性和隱私性，以及在人工智慧系統中老發安全和隱私的開源框架，如CleverHans和TensorFlow Privacy。

相關開源項目：

CleverHans
https://github.com/tensorflow/cleverhans

TensorFlow Privacy
https://github.com/tensorflow/privacy

我們的另一個重要的研究方向是將機器學習在軟體系統中在堆棧的許多層面上應用。

例如，我們繼續努力使用分層模型將計算部署到設備上，並且我們有助於學習內存訪問模式。我們還繼續探索如何使用學習指數來取代資料庫系統和存儲系統中的傳統索引結構。正如我去年寫下的，我們在計算機系統中使用機器學習僅僅停留在表面。

相關論文：

A HIERARCHICAL MODEL FOR DEVICE PLACEMENT
https://openreview.net/pdf?id=Hkc-TeZ0W

Learning Memory Access Patterns
http://proceedings.mlr.press/v80/hashemi18a/hashemi18a.pdf

2018年，得益於Google的Project Zero團隊與其他人的合作，我們發現了Spectre和Meltdown，現代計算機處理器中新的嚴重安全漏洞，這兩者以及其他相關的漏洞讓計算機架構研究者們相當忙碌。

在我們繼續努力模擬CPU行為時，我們的編譯器研究團隊將他們用於測量機器指令延遲和埠壓力的工具集成到LLVM中，從而可以做出更好的編譯決策。

相關文檔：

llvm-exegesis - LLVM Machine Instruction Benchmark
https://llvm.org/docs/CommandGuide/llvm-exegesis.html

Google產品，我們的雲產品和機器學習模型推理決定了計算、存儲和網絡提供大規模、可靠、高效的技術基礎架構的能力。

過去一年的一些研究亮點包括Google軟體定義網絡WAN的發展，一個獨立的聯合查詢處理平臺，可以在許多存儲系統中對基於不同文件格式存儲的數據執行SQL查詢（BigTable、Spanner、Google Spreadsheets等）以及我們廣泛使用的代碼審查報告，調查Google代碼審查背後的動機，當前的實踐以及開發人員的滿意度和挑戰。

相關論文：

Modern Code Review: A Case Study at Google
https://storage.googleapis.com/pub-tools-public-publication-data/pdf/80735342aebcbfc8af4878373f842c25323cb985.pdf

F1 Query: Declarative Querying at Scale
https://storage.googleapis.com/pub-tools-public-publication-data/pdf/fa380016eccb33ac5e92c84f7b5eec136e73d3f1.pdf

運行內容託管等大型Web服務需要在動態環境中實現穩定的負載平衡。我們開發了一致的哈希方案，對每臺伺服器的最大負載提供了嚴格的可證明保證，並將其部署到Google Cloud Pub/Sub中的雲客戶。

在提供了我們論文的早期版本後，Vimeo的工程師找到了論文，在haproxy中實現並開源，並將其用於Vimeo的負載平衡項目。結局是戲劇性的：應用這些算法思想幫助他們將緩存帶寬減少了近8倍，消除了縮放瓶頸。

AutoML

AutoML，是用機器學習來加速機器學習的一種方法。

在這個領域，我們已經做了很多年的研究，長期目標是開發出那種拿到一個新問題，也能自動解決的學習系統：

從之前解決的問題裡面獲得的啟發、習得的能力，就是處理新問題的依據。

這一領域的早期研究，大多是用強化學習做的，不過我們也對進化算法感興趣。

去年我們就展示過，怎樣用進化算法自動找到各種不同的視覺任務裡，最先進 (State-of-the-Art) 的神經網絡結構是什麼。

我們還探索過，怎樣把強化學習用到神經網絡結構搜索以外的其他地方。發現有這些用途：

我們在AdaNet上的成果，展示了如何造出一個快速靈活的AutoML算法：

另外一個關注點，是自動發現計算效率高的神經網絡結構，讓網絡在手機、自動駕駛汽車這樣的環境下也能跑起來：不論是計算資源有限，還是時間有限。

在這個問題上，我們證明了：把模型準確度和推理計算時間結合到一起，來設置強化學習的獎勵函數，就可以找到高準確度的那些模型，應對不同的環境限制。

除此之外，我們也探索了用機器學習自動壓縮機器學習模型，減少參數，就會減少計算資源的佔用。

TPU

TPU是谷歌內部用的機器學習硬體加速器，從一開始就是設計用來支持大規模訓練和大規模推理的。

谷歌的許多重大突破都是在TPU的加速下實現的，比如剛才討論過的BERT自然語言處理模型。TPU也能讓世界各地的研究人員在谷歌開源研究的基礎之上，尋求自己的研究突破。

還是以BERT為例，任何人都可以在TPU上，用Colab來給BERT做微調。TensorFlow Research Cloud已經為數千研究人員，提供了大量的雲TPU算力。

我們還把多代TPU硬體，用雲TPU的形式做了商用：比如名叫Cloud TPU Pods的機器學習超級計算機，支持大規模訓練。

而在谷歌內部，除了讓機器學習研究進步更快之外，TPU也驅動了谷歌核心產品的重大改進：搜索、YouTube、Gmail、谷歌助手、谷歌翻譯，等等。

希望不論是谷歌還是谷歌以外的機器學習團隊，都能在TPU提供的、前所未有的計算規模之下，達成更多的成就。

開源軟體和數據集

發布開源軟體、創建新的公共數據集，是我們為學界和業界做出貢獻的兩種主要方式。

1. TensorFlow

在這一方面，我們做過最大的努力之一就是TensorFlow。2015年11月發布的機器學習系統，不久前才慶祝了三歲生日。

三年間，TensorFlow已被下載了超過3000萬次，貢獻者超過1700個，添加過45000多次代碼 (Commits) 。

2018年，TensorFlow經歷了8次主要版本更新，增加了重要功能：比如Eager Execution，以及分布策略 (Distribution Strategies) 。

我們還在開發過程中啟用了大眾評審，讓廣大貢獻者都參與進來。

隨著TensorFlow Lite、TensorFlow.js和TensorFlow Probability這些相關產品的推出，TensorFlow生態系統在2018年茁壯成長。

我們很高興地發現，TensorFlow的GitHub的用戶留存率 (User Retention) ，在主流機器學習/深度學習框架裡面是最高的。

除此之外，TensorFlow團隊也在加快處理GitHub上面討論的問題 (Issue) ，給外部貢獻者提供一個更好的體驗。

研究方面，TensorFlow還在繼續為這個世界大量的機器學習和深度學習研究提供支持，從Google Scholar論文發表的數據上就能看出。

另外，TensorFlow Lite僅僅上線一年，就有15億臺設備搭載了這套系統。

還有，TensorFlow.js是JavaScript機器學習框架裡面的第一名：推出9個月，CDN (內容分發網絡) 點擊量已經超過200萬，下載25萬次，GitHub標星10000多。

2. 其他框架

除了繼續發展開源生態系統，2018年還發布了一個新框架「多巴胺 (Dopamine) 」，用來做靈活、可重複的強化學習。

發布了What-If可視化工具，可以快速了解數據集的特徵（無需編寫任何代碼）：

pair-code.github.io/what-if-tool/

發布了TF-Ranking高級庫，用來表達涉及排名的機器學習問題。

發布了AdaNet，一個快速靈活的AutoML框架。

還發布了能在瀏覽器裡實時做tSNE可視化的框架，基於TensorFlow.js：

https://github.com/tensorflow/tfjs-tsne

3. 數據集

公開數據集是很好的靈感來源，可以讓整個學界看到有趣的數據和有趣的問題，在許多不同的任務上獲得更好的結果。

這一年，我們很高興地發布了谷歌數據集搜尋引擎，可以在全網搜索數據集。

發布了Open Images V4，一個包含190萬張圖1540萬個邊界框、600個類別的圖像數據集：

https://storage.googleapis.com/openimages/web/index.html

發布了動作識別AVA數據集，提供視聽雙重標註：

https://research.google.com/ava/download.html

還發布了新版本的Youtube-8M數據集，包含610萬個調視頻，3862個類別，26億次視聽特徵標註：

https://research.google.com/youtube8m/download.html

HDR+連拍數據集 (HDR+ Burst Photography Dataset)，是計算攝影領域的數據集：

https://hdrplusdata.org/

Google-Landmarks，地標識別數據集：

https://www.kaggle.com/google/google-landmarks-dataset

其中，許多數據集都是伴隨著挑戰賽一同發布的，HDR+連拍數據集也是，地標數據集也是，Youtube-8M也是。還有一場Kaggle比賽，內容是識別「Quick, Draw!」 (猜畫小歌) 數據集裡的塗鴉：

https://quickdraw.withgoogle.com/data

機器人

2018年，我們朝著理解機器學習如何教機器人在世界上行動的目標，取得了重大進展，教機器人抓取新物體的能力也達到了一個新的裡程碑，並通過這種方式幫助機器人在沒有人類監督的情況下了解物體。

將機器學習、基於抽樣的方法和機器人幾何學結合，我們在機器人運動學習方面也取得了進展。機器人在通過自主觀察來更好地理解世界結構的能力上，取得了巨大的進步。

我們首次成功地在真實的機器人上在線訓練了深度強化學習模型，並且正在尋找新的理論基礎方法來讓機器人控制更穩定。

人工智慧在其他領域的應用

2018年，我們將機器學習應用到了物理和生物科學中的各種問題上。使用機器學習，我們可以向科學家提供「成百上千的研究助理」，來幫他們助挖掘數據，從而使他們變得更有創造力和生產力。

我們發表在《Nature Methods》上關於神經元高精度自動重建的論文提出了一種新的模型，與以前的深度學習技術相比，這個模型將自動解釋連接組學數據的精度提高了一個層次。

我們的算法正在運行，它在鳴禽大腦中以3D的方式追蹤單個神經突。

相關論文：

High-precision automated reconstruction of neurons with flood-filling networks
https://www.nature.com/articles/s41592-018-0049-4

其他一些將機器學習應用到科學問題中的例子包括：

http://iopscience.iop.org/article/10.3847/1538-3881/aa9e09/meta

https://www.biorxiv.org/content/early/2018/06/22/353474

https://link.springer.com/epdf/10.1186/s12859-018-2087-4

http://www.cell.com/cell/fulltext/S0092-8674(18)30364-7

https://arxiv.org/pdf/1808.06576.pdf

一個預訓練的TensorFlow模型評估Fiji (ImageJ)細胞的顯微鏡圖像的聚焦質量。邊界的色調和亮度分別表示預測的聚焦質量和預能測的不確定性。

醫療

在過去的幾年裡，我們一直在將機器學習應用到醫療領域。我們相信，機器學習可以通過增強醫療專業人員的直覺和經驗而產生巨大影響。

在這個領域，我們通常與醫療保健組織合作，解決基礎研究問題(利用臨床專家的反饋使我們的結果更加可靠) ，然後在備受尊敬的、有同行評審的科學和臨床期刊上發表研究結果。

一旦這項研究得到臨床和科學驗證，我們將進行用戶和人機互動研究，以了解我們如何在真正的臨床環境中部署這項技術。

2018年，我們將研究範圍從計算機輔助診斷擴展到了臨床任務預測中。

在2016年年底，我們發表的一項回顧性研究顯示，一個經過訓練的、根視眼底圖像來評估糖尿病病變的模型，能夠與經過美國醫學委員會認證的眼科醫生相媲美。

2018年，我們得到了一個與視網膜專家水平相當的模型。我們發表了一篇評估報告，展示了眼科在醫生與機器學習模型結合，診斷上比單獨使用任何一種方法都更準確。

我們與Alphabet的其他兄弟公司合作，在印度的Aravind眼科醫院和泰國衛生部下屬的 Rajavithi 醫院等10多個地點部署了這套糖尿病視網膜病變檢測系統。

左邊是視網膜眼底圖像，由眼科醫生評定為中度DR (「Mo」)(ground truth)。 右上角是模型預測分數的圖示(「n」=無 DR,」Mi」=輕度 DR,」Mo」=中度 DR)； 右下角是醫生未經協助(「Unassisted」)的情況下和看到模型預測後，醫生給出的分數(「Grades Only」)

相關論文：

Improving the Effectiveness of Diabetic Retinopathy Models
http://www.aaojournal.org/article/S0161-6420(18)31575-6/fulltext

我們還推出了其他的機器學習模型，可以從視網膜圖像中評估人們患有心血管疾病的風險。

相關論文：

Assessing Cardiovascular Risk Factors with Computer Vision
https://www.nature.com/articles/s41551-018-0195-0.epdf

這一年，我們還在繼續關注病理學，展示了如何使用機器學習改善前列腺癌的分級狀況，通過深度學習來檢測轉移性乳腺癌。

並開發了一種增強現實顯微鏡的原型，將計算機視覺模型中的視覺信息實時疊加到顯微鏡操作員的視野中，來幫助病理學家和其他科學家進行分析診斷。

前列腺癌論文：

Development and Validation of a Deep Learning Algorithm for Improving Gleason Scoring of Prostate Cancer
https://arxiv.org/abs/1811.06497

乳腺癌論文：

Artificial Intelligence–Based Breast Cancer Nodal Metastasis Detection
https://doi.org/10.5858/arpa.2018-0147-OA

Impact of Deep Learning Assistance on the Histopathologic Review of Lymph Nodes for Metastatic Breast Cancer
https://doi.org/10.1097/PAS.0000000000001151

在過去的四年裡，在使用深度學習技術，基於電子健康記錄做出臨床相關的預測記錄方面，我們進行了大量的研究工作。

2018年，我們與芝加哥大學醫學院、加州大學舊金山分校和史丹福大學醫學院合作，在《Nature Digital Medicine》雜誌上發表了我們的研究成果，展示了機器學習模型在識別電子醫療記錄中的應用，能夠比當前的臨床最佳實踐更準確地預測各種臨床相關的任務。

相關論文：

Scalable and accurate deep learning with electronic health records
https://www.nature.com/articles/s41746-018-0029-1

在進行這些研究時，我們還開發了一些工具，使得創建這些模型變得非常容易。這些工具也能夠應用到完全不同的任務和數據集上。

我們還開發了與快速醫療互操作性資源(FHIR)標準相關的開源軟體，目的是幫助醫療數據處理變得更加容易和標準化。

GitHub連結：

https://github.com/google/fhir

我們還提高了基於深度學習的變體調用程序 DeepVariant 的準確性、速度和實用性。研究團隊與合作夥伴一起努力，最近在《Nature Biotechnology》雜誌上發表了經過同行評審的論文。

相關論文：

A universal SNP and small-indel variant caller using deep neural networks
https://www.nature.com/articles/nbt.4235

使用歷史收集的數據訓練機器學習模型時，重要的是了解哪些數據有偏差，以它們及是如何被編入數據中的。

機器學習提供了一個發現和解決偏見的機會，以及推進衛生公平的機會，我們正在設計這樣的系統。

合作研究情況

我們以許多不同的方式與外部研究團體互動，包括教師參與和學生支持。

我們感到自豪的是，在2018 學年期間，我們招收了數百名本科生、碩士生和博士生作為實習生，並為北美、歐洲和中東的學生提供多年期博士研究生獎學金。

除了財務支持，每個獎學金獲得者都被指派一個或多個谷歌研究人員作為導師，我們把所有的研究人員聚集在一起，參加一年一度的谷歌博士獎學金峰會。

在這裡，他們可以接觸到谷歌最先進的研究成果，並有機會與谷歌的研究人員以及來自世界各地的其他博士研究員交流。

作為對獎學金項目的補充，我們還有一個Google AI Residency項目，可以讓那些想要學習進行深度學習研究的人花一年時間在谷歌工作，並接受谷歌研究人員的指導。

2018年是這個項目的第三個年頭，很多研究人員都加入了谷歌遍布全球的各種團隊，從事諸如機器學習、感知、算法和優化、語言理解、醫療保健等領域的研究。

每年，我們還通過Google Faculty Research Awards項目支持一些教師和學生的研究項目。

2018年，我們還在谷歌的辦公地點為特定領域的教師和研究生舉辦研討會。如：

在印度班加羅爾辦事處舉辦的AI/ML研究和實踐研討會；
在蘇黎世辦事處舉辦的算法和優化研討會；
在桑尼維爾舉辦的ML醫療應用研討會；
在馬在諸塞州劍橋辦事處舉辦的ML公平和偏見研討會。

我們認為，公開地為更廣泛的研究群體做出貢獻是支持健康和富有成效的研究生態系統的關鍵部分。

除了發布開原始碼和數據集，我在們頂級會議和期刊上公開發表了大部分研究成果，並積極參與組織和贊助各種不同學科的會議。

比如ICLR 2018、NAACL 2018、ICML 2018、CVPR 2018、NeurIPS 2018、ECCV 2018和EMNLP 2018。

2018年，谷歌還廣泛參與了ASPLOS、HPCA、ICSE、IEEE Security & Privacy、OSDI、SIGCOMM以及許多其他會議。

新的地方，新的面孔

2018年，我們非常高興地歡迎許多背景廣泛的新人加入我們的研究組團隊我們在非洲開設了第一個人工智慧研究辦公室。

我們擴大了在巴黎、東京和阿姆斯特丹的人工智慧研究領域，並在普林斯頓開設了一個研究實驗室。

我們繼續在世界各地廣納人才，你可以在這裡了解更多關於工作的信息。

相關連結：

https://ai.google/research/join-us/

展望2019年

這篇博客文章，只是總結了2018年所做研究的一小部分。

當我們回顧2018年時，我們很興奮，也很自豪！

2019年，我們期待著能夠對谷歌以及更廣泛的研究和工程領域產生更大的影響！

One more great thing

實際上，這篇報導最開篇，首先談到的是Google在2018年發布的AI原則。

在過去幾年中，Google關注到AI的重大進步及其對產品和用戶日常生活的積極影響。

但作為搞AI的人，保證AI向善，始終對社會有益，也是責任所在、題中之義。

2018年，Google發布了AI 七原則，並圍繞這些原則展開應用實踐。

AI原則為Google AI應用和發展提供了指導，讓我們知道在AI實踐中該做什麼、不該做什麼，哪些值得做、哪些則要避免。

比如在實踐過程中，Google AI原則就讓我們對「AI公平」、「對所有人負責」等有更強使命感。

在機器學習公平性、模型可解釋性方面，投入精力，展開新研究。

在Google翻譯中，利用AI消除性別偏見。

並發布更多更具包容性的圖像數據集和模型，讓計算機視覺能夠適合全球多元文化。

值得一提的是，這也促進我們可以更廣泛地與全球研究組織一起努力，進一步推動AI公平和機器學習普及。

AI for Good

接著，AI原則之後，緊接著「匯報」Google AI這一年在社會公益方面的努力。

第一個例子，用AI來進行洪水預測工作。

Google內部許多團隊通力合作， 希望對洪水變化有更精準及時的信息監測，以便洪水多發地區的人，可以更有效保護自己的生命及財產安全。

第二個例子是地震餘震的預測工作。

Google展示的機器學習模型，可以比傳統餘震預測方式更精準，而且該機器學習模型可解釋，利於地震科學家圍繞餘震數據展開更多研究，不僅能進一步促進餘震精準預測，還對地質等信息有更深了解。

而且「Google AI+外部跨領域科學家」這樣的合作模式也越來越多，更多工程師、科學家開始使用TensorFlow來解決科學和社會問題。比如識別並精準保護瀕危鯨魚、探索發現行星，以及識別蟲患木薯植物等。

為了進一步推動AI for Good的創新。

Google還設立了2500萬美元基金，專門用來支持AI為公益的項目，而且參與者不必一定是AI方面的專家，只要你的點子好、對社會有益，谷歌願意讓AI專家提供技術支持，此外還為你提供谷歌雲服務。

一句話：只要你的出發點有益社會公益，Google就會給錢、給資源，做到AI技術最大化支援。

或許，通過AI原則和AI公才能益，真潔解釋Google何以為Google。

報告傳送門

https://ai.googleblog.com/2019/01/looking-back-at-googles-research.html

Google 2018論文傳送門

https://ai.google/research/pubs/?year=2018