點擊標題下「大數據文摘」可快捷關注
長久以來Google的旗艦產品已成為我們生活的一部分。但Google並不認為搜索理所當然就應該是那樣的。此文編譯自《In The Plex : How Google thinks, Works, and Shapes Our Lives》作者Steven Levy的文章，是有關Google搜索變革研究的第一部分。摘自：36氪
天為什麼是藍的？
小孩經常問這個問題，但是很少有家長在不需要幫助的情況下能回答得上。不久以前，找到正確的答案至少需要鑽研百科全書，甚至還需要跑一趟圖書館。不過最近，爸爸媽媽只需要打開電腦，Google 一下，點擊連結，問題的回答就呈現在面前，然後父母閱讀一下解釋，再用小孩可以理解的方式闡述一遍即可。
但到了 2015，甚至這種看似快捷的過程也算不上快了。首先，在行動裝置上問題的提出更有可能是通過口述而不是在搜索框敲字。其次，儘管從一堆連結排序中選擇最相關者仍然是特定查詢的有效辦法，那些有著明確定義問題（如天空為什麼是藍的）的人更希望馬上知道答案。如果 Google 不能馬上提供答案，這些人就會失望、甚至憤怒。
那麼……「好吧，Google……為什麼天是藍的？」
對於 Google 最近幾年對搜索進行的變革，Google 搜索團隊負責人 Amit Singhal 以飛機空中更換引擎來打比方，其改動包括排名算法，添加新的企業信息，以及在用戶完成問題輸入前開始搜索等。除了引擎切換以外，在移動搜索即將超越桌面搜索的大背景下，Google 也在考慮對「座艙」—使用界面進行徹底的重新設計，甚至考慮整個使命的重新定位。
搜索一直是公司的旗艦產品，搜索廣告仍是公司的主要收入來源，Google 對搜索的重視跟外界對 Google 的關注點是不一樣的。現在開始有人質疑 Google 搜索在走下坡路。理由包括：1）垃圾結果太多 2）過分強調信息的更新度而非相關性等。Singhal 強烈抨擊這種言論，認為說法與事實完全相反，Google 的搜索做得比 2 年前好得多，那些批評者陷入的是一股對過去的懷舊情緒。
儘管如此，Facebook 的社交網絡屏蔽 Google 的爬蟲抓取信息令 Singhal 感到憂心忡忡，擔心封閉的網絡會威脅到 Google 的地位。但事實證明他過過慮了。Facebook 的 Graph Search 仍非常稚嫩，對 Google 幾乎沒什麼影響。微軟的 Bing 在搜索質量上有得一比，但市場份額不到 1/5。在基礎設施、人才厚度、經驗、雄心等方面沒有競爭對手可以與 Google 匹敵。G+ 儘管遠未能成為引起轟動的社交網絡，但的確吸引了許多搜索用戶的加入。
要說到威脅，Google 搜索最大的威脅並不是來自於競爭對手，而是搜索對象的變化—從 web 遷移到了星羅密布的 app 孤島。不過 Google 認為這種情況自己是可以克服的—畢竟開發者跟網站站長一樣希望自己的信息被發現。從 2013 年秋，Google 開始設立 App Indexing 將移動 app 內的數據納入整個索引內。現在已經有 15% 的 Android 登錄用戶可獲得含 app 內信息的搜索結果。但是 iOS app 是一個很大的坑。
目前抓取 app 信息的挑戰尚未影響 Google 的搜索統治地位。Google 每天接受的搜索查詢超過 30 億次，每年執行的搜索超1萬億次。美國 2/3 的搜索用的是 Google，在全球其他地區（中國除外）情況類似。最近 Google 搜索份額的變化只是因為Yahoo跟Firefox的默認搜尋引擎交易導致的。而且 Google 還拿到了 80% 的移動搜索份額。2013 年 Google 出現了 5 分鐘的中斷的結果是全球流量下挫了 40%！
儘管搜索不是外界關注 Google 的熱點，但它本身卻正在進行穩步而密集的再造。實際上 17 年的時間裡 Google 從未停止對搜索的改進，但最近幾年 Google 搜索變革的速度明顯加快，為的是保持領先優勢。
其中的一些變化用戶已經有所體會。搜索更快了、內容更新了、更加社會化了、結果呈現更加豐富了。這些變化不是一夜之間完成的，而是 Google 持續不斷的升級改進的結果。Google 每周都要開搜索質量協調會，對算法進行微調。每 2、3 年都要對排名系統進行重大升級，最近一次的代號為 Hummingbird。據稱過去 3 年排名系統進行的改動要比此前 13 年的加起來還要多。
Google 搜索的變革主要體現在三個方面：知識圖、語音搜索和 Google Now。知識圖把全球的信息組織為一個浩瀚的資料庫；語音搜索把口語吸收進了搜索；而 Google Now 則提供了未問先答的能力。這三大變化都與 Google 聚焦於移動有關。
知識圖（Knowledge Graph）
知識圖譜的推出源自對 MetaWeb 的收購。MetaWeb 2005 年由知名計算機科學家與創業者 Danny Hillis 創辦，2007 年推出。做的是語義網。MetaWeb 做的事情也是通過掃描網際網路去回答問題，它擁有 1200 條人、地點與事物的實體記錄，一度被認為是 Google 的競爭對手。不過最終 Hillis 意識到只有在 Google 的大樹下自己搭建全球信息資料庫的宏偉目標才能實現。而彼時儘管 Google 也提供了一些問題（比方說歐巴馬生日）的直接答案，但是卻無法回答「西海岸學費低於 3 萬美元的大學」、「至少獲得過一次奧斯卡獎的年齡超過 40 的演員」這樣的問題。雙方一拍即合。
Google 意識到，事物是搜索的重要部分，而讓大眾關心的事物的事實與信息迅速呈現是一種很好的方式。於是在 MetaWeb 的基礎上，2012 年 5 月，Google 推出了提供搜索主體關鍵事實的知識圖作為搜索的輔助呈現在搜索結果頁面的右側。現在它的條目已經超過了 5 億。那麼那些搜索結果會出現知識圖呢？Google 會將查詢詞條擴展為其他形式和同義詞等等，然後進行算法測試看看是否與知識圖（Knowledge Graph）結果相關，確定相關後再從中擇取相關結果呈現（比方說敲「達文西」試試）。根據估計，目前約有 25% 的搜索可喚出知識圖。
在 Google 搜索與知識圖整合的這 2 年多的時間裡，知識圖也在不斷演變。原先它是靜態的，但現在正慢慢吸納 Google 搜索本身在分析用戶行為方面的學習能力。比方說「誰在《太空炮彈》中飾演 Barf？」這樣的問題問多了以後，知識圖就知道要把演員、電影和情節等東西列進去。
此外在知識的新鮮度方面知識圖也有了大幅改進。以往知識的更新最長可能需要 2 個星期。但現在系統已經能處理新聞，所以更新調整隻需要幾分鐘。
當然，Google 的改進計劃還有很多。包括增加知識域（最近添加了汽車、視頻遊戲、雨果文學獎得主），提供除簡單事實以外更加複雜的、更主觀性、模糊化的搜索結果。用戶的興趣點就是改進的出發點。而 Google 最終想要實現的效果是，讓你不僅覺得跟你對話的不是冰冷的機器，而是既無所不知又懂附庸風雅的聖人。
但這個目標目前還有點遙遠。令產品經理 Emily Moxley 惱火的是，儘管現在知識圖已經知道一些電視節目，但卻既缺乏新劇集的信息，也不知道什麼時候上映，在哪裡能夠看到。在知識圖成為聖人之前，Google 需要要先實現這一「中期目標」。
或者這個要求還有點高。因為 4 年時間過去了，Google 至今仍未給出上述那兩個類似問題（「西海岸學費低於 3 萬美元的大學」、「至少獲得過一次奧斯卡獎的年齡超過 40 的演員」）的一站式的答案。知識圖，任重而道遠啊。
語音搜索
在意識到移動技術即將變得無所不在後，Google 決定對搜索進行一個微妙但同時又是巨大的變動。它不再把查詢視為提交給計算機系統的指令，而是把所有的輸入當作是對話。而在這裡面，交互方式比輸入更自然的語音將起到非常重要的作用。
這種改變並不僅僅是搜尋引擎處理查詢方式的改變，也需要用戶在思想上做出改變。就像以前 Google 教育用戶要以查詢的方式組織搜索一樣，現在 Google 需要用戶以對話的方式進行思考。不過顯然後面這種方式並不需要太多的教育，因為這是我們自然的交互方式。
實現這一變動需要兩方面的舉措。首先是搜尋引擎必須更仔細地傾聽，甚至要解析含糊不清的語音輸入，這種能力此前只有人類才具備。然後 Google 還需要確保人對著手機說話或在搜索框輸入口語化文字時系統知道人在說什麼。
Google 攻關語音識別技術已有好些年頭。2000 年代中期時，Google 曾推出過一個名為Google 411的服務，做的事情跟電話公司一樣，就是給客戶提供電話查詢系統，不同的是後者是付費的。而 Google 的收穫是通過數百萬的免費電話學習如何正確解析多語種多口音的語音。但是 Google 無法獲得其所需的 2500 條短語在一部分地區的樣本，於是 Google 就直接派人去到哪些地方採樣。
付出終於獲得回報—Google 搜索可兼容 159 種語言，而語音搜索現在已能識別其中的 59 種。公司宣稱，其「單詞錯誤率」已經降到了 8%。
Amit Singhal 的副手 Ben Gomes 以自己為例演示了 Google 取得的裡程碑式進展。這位印度出生的工程師發音不太標準，在上述行動前，他是沒有機會親自演示 Google 的語音識別能力的，以往 Google 都是派一位發音純正深受機器青睞的專家來做演示的。不過現在 Gomes 跟那位傢伙已經失去了聯繫。「他已經變得可有可無了。我就可以做演示。哪怕你讓我站在記者前進行查詢我也不怕。」
此外，Google 還需要考慮讓手機給人回話。它應該用哪一種嗓音呢？像Siri那樣擬人化？還是用一種可辨識的機器人語音來讓用戶意識到對自己正在跟系統（而不是人造人）對話？Google選擇了後者。其首席搜索設計師 Wiley 說，為了避免造成與有意識的實體對話的幻覺，你需要自動化一種皮克斯級的敘事能力。「我認為我們與計算機可以喚起人性到人類感到舒服的地步仍有很長一段距離。」
但是技術的發展很快，足以為 Google 提供一種高級的語音交互能力。Gomes 認為，語音識別能力的提高得益於計算機的處理速度變快、硬體變好以及軟體算法的改進，但是最大的變化是 Google 對語言的理解能力提升了。
頭銜為搜索部門「著名研究科學家」的 Fernando Pereira 研究自然語言處理（NLP）已有 30 個年頭。過去幾年，在如何將搜索查詢與網上的文檔及其他信息集匹配上 Google 已經解決得相當好，但是像 Knowledge Graph 這樣得資料庫的引入給搜尋引擎帶來機遇的同時也帶來了挑戰。Pereira 說：「你使用的語言是否與資料庫的設計方式匹配變得更加難以判斷。」
比方說，Google 會收到這樣的查詢：「巨人隊在哪裡打比賽？」雖然是短短的一句話，但引擎需要了解大量信息：這涉及到了體育，某支隊伍打的是主場等等。然後它還得做出選擇，這裡指的是棒球隊還是橄欖球隊？用戶是想知道這支隊伍的主場體育場還是像了解它下周去哪裡打比賽？Google 通過信號和此前的用戶行為去構建答案。這些理解、判斷、推理都是幾年前 Google 沒有做過的。
一旦清除了這些障礙，Google 的 NLP 系統就能從知識圖中獲得更大的推力，開始逐漸理解世界。包括在用戶措辭不佳甚至表達混亂的情況下揣摩用戶想問什麼。比方說用戶在手機上輸入「戴維▪卡梅倫」時系統已經知道這兩個詞是配對的，知道這是一個人—然後賦予代詞「他」。哪怕麥克風捕捉不到姓氏，知識圖也能斷定這位英國總理是主題。
Google懂得越多，就能更好地理解你
2004 年，我問 Larry Page 和 Sergey Brin 對搜索的長期願景是什麼。Larry說，搜索應該被包含進人的大腦裡。「當你思考某件東西時如果不太了解的話，你可以自動獲得信息。」 Sergey 指出，關鍵點在於：「你有對話的設備，或者留意周圍發生的事的計算機，從而可以提供有用的信息。」
2010 年，兩位 Android 工程師 Baris Gultekin 和 Andrew Kirsme 倒騰的一個「20%（註：Google 的 70/20/10 時間分配原則）」項目跟這一願景的精神非常一致，於是就誕生了後來的 Google Now。
根據 Gultekin 的說法，目前的 Google Now 與他們最初的設想也保持著高度的一致。「其核心觀點是你現在的手機並不智能，但是是可以做到智能的，」他說：「如果我們能夠把可感知、可連接的強大設備與 Google 的威力結合到一起的話會怎樣？」
換言之，Google Now 可回答你太懶或沒時間問的查詢。這意味著要通過多領域信息的結合來處理某件重要的事。Gultekin 說一開始要建立這樣一套系統去做這樣的事是很恐怖的，但他和夥伴先把目標分解成一個領域，通勤。但即便這樣一件有限的事情也需要系統具備大量的知識：家和辦公室的位置，最佳往返路線，交通模式。當然，Google Maps（以及後來的 Waze）知道如何導航是關鍵。Google 調用所有的力量去增強這一搜索工具。不久之後，他們有了一款可靠的 app 來幫助通勤者。「不過我們不希望這只是一款通勤 app，」 Gultekin 說：「我們希望它成為一位主動的助手，能幫助處理很多事情。」2012 年 7 月，Google Now 發布，當時具備 7 個領域知識：通勤、飛行、體育、附近地方、旅遊、公交以及天氣。現在 Google Now 的領域已經增加到 70 個，且還在快速增長。「我希望 Google Now 能夠提供你所需的大部分信息，其他的 app 只有在 Google Now 沒有你所需的東西時才用，」 Gultekin 說。
Google Now的效率取決於對世界的深度知識（這個Google搜索和知識圖可以提供）與大量個人信息的整合。這正是為什麼有人會提出搜索的這個子集實際上是 Google 本身的借代：每次它都會提供一張即時信息「卡片」。Google Now 吸收了一大批的 Google 服務。一張典型的卡片往往結合了個人郵件、日程表、通信錄、交通安排、交通信息以及天氣等信息。
大家往往不知道 Google Now 是做什麼的，直到它做了。比方說，你停車時，Google Now 會記錄下你停止行駛了，並記住你在什麼地方離開了車子—以防你忘了車子停在哪裡。如果郵件告訴 Google Now 你在找房子，它可能就會推送一些你希望居住地區的待售房產。
隨著 Google Now 的不斷演變，現在它已經從 20% 項目變成了全職服務。不過給 Google Now 的發展提供最大動力的也許是蘋果。2011 年，蘋果發布了 Siri，給 Google 總部造成了一點點的恐慌，從而加大了這一語音助手項目的投入。隨後它變成了搜索部門的官方組成部分，儘管團隊仍同時分屬搜索和 Android。當然這種安排也是合適的，除了推送給用戶的非查詢消息外，所有的個人信息最終都會為登錄用戶的搜索框所利用（目前可做到「送我上班要多久？」很快將實現「我的車在哪裡？」）。搜索和 Google Now 非常具有互補性，Gultekin 說：「我們希望在你開始搜索前就提供信息，但還是會有很多情況是我們不知道的，比方說你的水管爆了，你需要管道工。」 （當然，未來通過 Google 收購的智能家庭平臺 Nest，Google 有可能會知道這一點的。）
與舊版搜索相比，Google Now化的搜索只有在使用全系Google產品時才能發揮最大效用。「Larry 有個說法—『搜索應該理解你的意思並提供你想要的東西，』」 Yehoshua 說：「這是一個 Google 生態體系—如果你登錄手機和桌面，我們可以利用這一點。如果你希望獲得飛行信息，跟蹤包裹以及任何我們可從 Gmail 獲得的信息，你都可以得到。如果你不用 Gmail（當然你不會），你仍然可以獲得我們豐富的語音和回答等等。」
沒有繞行方式—如果你想用 Google，但 Gmail 不是你的首選，那就無法獲得 Google Now 或甚至 Google 搜索的全部價值。「生活在一個我們能夠分享所有這些信息的世界裡將是非常美好的，」 Yehoshua 說：「我不認為明天就會實現。蘋果做起來會好點，但我們實現會更加困難。」
Google有意識地不把Google Now當作獨立產品。相反，它把Now包含進搜索app裡面。而app本身也不叫「搜索」，很簡單，就叫「Google」。這種取名方式不僅說明了搜索與Google關係之緊密，也說明了Google Now對公司的重要。
儘管如此，Google Now 組件還是可選的。使用前 Google 會提出隱私方面的警告，而該產品的無所不知也可能會成為令人不安的提醒器，告訴我們這家巨頭對我們的了解有多少。Google 掌握我們的個人信息越多，它惹上的麻煩也越多—尤其是在歐洲，加強監管、巨額罰款甚至解體威脅一個沒落，其服務我們的抱負也許會被對隱私的擔憂挫敗。哪怕是那些相信 Google 的人，在斯諾登披露政府如何輕易獲得我們的信息之後也無法淡定了。如果 Google Now 知道你在哪裡停的車的話，當地的情報機構是不是也一樣知道？
Amit Singhal 認為，第一代搜索是在人與遠端機器的交互之間隔著一道牆。而我們逐步進入的搜索新時代將會打破這堵牆，這與把行動裝置當作電子人化的附體是同步的。我們預期手機會知道我們的意思。我們預計搜索既精通於提供包含我們個人信息的答案，又能從網頁、文檔及公共資料庫中挖掘事實。
「我把搜索視為一切計算的接口，」Singhal 說：「設備消失或最小化或融入環境之後，你又如何跟它們交互呢？因為大多數時候，你需要採取行動—或者簡單如播放音樂，或者複雜點，寫備忘錄提醒自己來到小賣部附近時記得買牛奶。或者你會有『我老婆的航班是否準時？』或者「歐巴馬有多高？」之類的問題」
大家也許會把過去當作理所當然—抱怨 Google 搜索已經不像以前那樣。但 Singhal 指出，Google 搜索已經越過了那道橫亙在他面前幾十年的障礙。「作為一名研究人員我攻關了 20 年都沒有成功，」Singhal 說。他指的就是他的團隊在 Google 搜索上面所取得的成就。但他也承認，還有比現在多得多的問題有待解決。但在描述某類他不再失敗的查詢背後的科學時，他的聲音充滿了自豪。對了，那個問題就是：天為什麼是藍的？
www.baidu.com
www.bing.com
www.google.com.hk
www.google.com.sg
大數據文摘精彩文章：
回復安全 關於洩密、黑客、攻防的新鮮案例
回復算法 既漲知識又有趣的人和事
回復谷歌 看其在大數據領域的舉措
回復院士 看眾多院士如何講大數據
回複色情 這個,你懂的,可是你真的懂嗎？
回復隱私 看看在大數據時代還有多少隱私
回復醫療 查看醫療領域文章6篇
回復徵信 大數據徵信專題四篇
回復大國 "大數據國家檔案"之美國等12國
回復體育 大數據在網球、NBA等應用案例
回復平安 中國平安相關大數據案例、新聞
回復志願者 了解大數據文摘及如何加入