公司通常會僱傭數據分析專家來收集信息,比如哪些客戶需要特定的服務,或者在哪裡開新店和存放產品。然而,分析數據以回答其中一兩個問題可能需要幾周甚至幾個月的時間。
現在,麻省理工學院(MIT)的衍生產品Endor開發了一個預測分析平臺,任何人,無論是否精通技術,都可以上傳原始數據,將任何商業問題輸入一個界面——類似於使用在線搜尋引擎——在短短15分鐘內就能得到準確的答案。
該平臺基於「社會物理學」,由Endor聯合創始人Alex「Sandy」Pentland(東芝媒體藝術與科學教授)和Yaniv Altshuler(前麻省理工學院博士後)在麻省理工學院媒體實驗室共同開發。社會物理學利用數學模型和機器學習來理解和預測群體行為。
新平臺的用戶上傳客戶或其他個人的數據,如手機通話記錄、信用卡購買記錄或網絡活動記錄。他們使用Endor的「query-builder」嚮導來詢問問題,比如「我們應該在哪裡打開下一個商店?」或者「誰會嘗試產品X?」利用這些問題,該平臺可以識別數據中先前行為的模式,並使用社會物理模型來預測未來的行為。該平臺還可以分析完全加密的數據流,允許銀行或信用卡運營商等客戶維護數據隱私。
「它就像谷歌。你不必花時間去想,『我會花時間去問谷歌這個問題嗎?』你只需要把它拿出來,」阿特舒勒說。「就這麼簡單。」
在創新努力的資金支持下,這家由谷歌母公司Alphabet執行董事長埃裡克·施密特(Eric Schmidt)創辦的私人風險投資公司已經找到了知名客戶,比如可口可樂(Coca-Cola)、萬事達(Mastercard)和沃爾瑪(Walmart),以及其他主要的零售和銀行公司。
最近,恩多分析了一個國防機構的Twitter數據,以發現潛在的恐怖分子。根據元數據中的標誌符,Endor獲得了1500萬個數據點,這些數據點包含了50個識別出ISIS活動分子的Twitter帳戶的例子。在此基礎上,他們要求這家初創公司檢測74個標誌符,這些標誌符在元數據中隱藏得非常好。Endor的某個人用筆記本電腦在24分鐘內完成了這項任務,發現了80個「長得像」的ISIS帳戶,其中45個來自該機構命名的74個隱藏得很好的帳戶。假陽性率也極低(35個帳戶),這意味著人類分析師可以請專家調查這些帳戶。
集群的共性
機器學習是用於複雜的計算問題,這是相對靜態的,如圖像識別和語音識別。例如,幾個世紀以來,英語的書面語和口語基本上沒有什麼變化。
另一方面,人類的行為是不斷變化的。預測人類行為意味著在短時間內分析大量的小信號,可能是幾天,也可能是幾周。傳統的機器學習算法主要依賴於構建的模型,這些模型可以在更長的時間內分析數據。
「一般來說,你需要大量數據來為人類行為建立精確的模型,這意味著你必須依賴於過去。」因為你依賴於過去,你無法發現最近發生的事情,你也無法預測人類的行為,」Altshuler說。
在本世紀初和中期,Pentland和Altshuler在人類動力學實驗室開發了「社會物理學」,目的是捕捉和分析短期數據,以理解和預測人群動力學。在他們的研究中,他們發現所有的大數據都包含特定的數學模式,這些模式表明社會互動如何傳播和聚合,這些模式可以幫助預測未來的行為。
利用這些數學模式,他們構建了一個平臺——Endor平臺的核心技術——可以從數百萬個原始數據點提取行為共性的「集群」,比機器學習算法更快、更準確。一個集群可能代表四口之家,購買相似食物的人,或訪問相同地點的個人。阿特舒勒說:「大多數數據模式與其他任何技術的噪音都沒有什麼區別。」
目前還不清楚集群代表什麼,只知道它們之間有很強的相關性。然而,查詢數據提供了上下文。例如,使用客戶數據,有人可能會查詢哪些客戶最有可能購買特定的產品。通過使用關鍵詞,該平臺可以將已經購買了該產品的顧客的行為特徵(如地點和消費習慣)與尚未購買該產品的顧客進行匹配。這種重疊會創建一個可能的新客戶列表,這些客戶可能會傾向於購買該產品。
簡而言之,上傳數據並提出正確的問題,給這個平臺提出了一個基本的要求:這裡有一個例子X,給我找更多的X。
恩,Endor-ish
為了測試該平臺,研究人員很早就與美國國防高級研究計劃局(DARPA)合作,分析了某些城市在內亂時期的移動數據,以展示新興模式如何有助於預測未來的騷亂。阿特舒勒還花了幾個月的時間在新加坡分析計程車出行數據,以預測這座城市的交通堵塞情況。
2014年,阿特舒勒聯繫了他的朋友、史丹福大學(Stanford University)畢業生多倫·奧爾特(Doron Alter),後者當時是他在創新領域的合作夥伴。阿特舒勒說,投資者詢問這項技術是否可以「包裝成任何人都可以使用的產品」。
那一年,在創新公司的資金支持下,阿爾特舒勒和連續創業的彭特蘭共同創立了Endor,將這個平臺轉變為商業軟體。該團隊由Alter和Stav Grinshpon加入,他們是技術行業的老手,曾是以色列情報機構8200的首席技術專家。單位。
通過信用卡公司StartPath的項目,該公司很快就獲得了萬事達(Mastercard)的早期合作夥伴。阿特舒勒被萬事達要求回答為數據科學家準備的問題,比如誰將很快飛到國外,貸款,或增加信用卡活動。
在從以色列特拉維夫飛往紐約的一次航班上,阿特舒勒分析了100萬持卡人金融交易的數十億數據點,並得到了10個問題的準確答案。傳統上,數據科學家需要花費數周或數月的時間來清理數據,並設計機器學習模型來逐個回答每個問題。他說:「公司花了兩個月的時間來開發模型來回答這些問題。我在一次飛躍大西洋的航班上做了10次。
公司可能會僱傭自己精通分析的員工來使用Endor。其他公司將與Endor代表召開簡短的周會,以確定提問的最佳措辭。「把他們的英語翻譯成我們所說的『贊同式』大約需要5分鐘,這意味著我們的系統可以理解問題的方式,」阿特舒勒說。
這家初創公司的網頁提供了一個結果示例,並與傳統的機器學習引擎進行了比較。一家銀行的營銷部門問:「誰將在未來六個月內獲得抵押貸款?」機器學習引擎可能會檢測到5000名擁有銀行信用卡和高信用評分的已婚客戶——其中許多可能是誤報。Endor發現了更具體的集群,比如即將結婚或正在離婚的夫婦、最近將自己的初創公司賣給Facebook的創始人、或剛從當地房地產課程畢業的客戶。據這家初創公司稱,Endor的結果提供的假陽性數據要少得多,挖掘出的潛在客戶要多得多。
阿爾特舒勒說,重要的是,Endor的目標不是取代數據科學家;它被設計成賦予他們權力的工具。他說,數據科學家最熟悉他們組織的業務語義,可以將Endor合併到他們的工作流中。Endor的目標是通過打開一個「瓶頸」——數據輸入的速度比任何人產生輸出的速度都要快——來幫助數據科學家改進他們的公司。「數據科學家知道我們可以讓他們成為英雄,」Altshuler說。
恩多最近獲得了Gartner的「酷供應商」稱號,這是專為行業顛覆者設立的,並被世界經濟論壇(World Economic Forum)認定為「技術先驅」。隨著消息的傳播,Endor現在正在美國各地贏得客戶我們的第一批客戶也在歐洲和拉丁美洲。「這是激動人心的時刻,」阿特舒勒說。