用AI算法預測空氣品質,阿里媽媽選手斬獲KDD Cup 2018 三項大獎

2020-12-08 199IT

近日,KDD Cup 2018 的比賽結果出爐,阿里媽媽算法專家胡可與來自微軟、北大的兩位隊友組成的「getmax」隊成為唯一一支獲得全場三項大獎的隊伍。

作為全球數據挖掘領域最有影響力的賽事,KDD Cup比賽由ACM協會的國際頂級會議SIGKDD舉辦,自1997年以來每年舉辦一次。該比賽一直以來都強調在實際場景中的應用性,今年的賽題是主辦方提供中國北京和英國倫敦的天氣數據,比賽選手需要以此來預測未來48小時內PM2.5\PM10\O3濃度,賽題本身對應對惡劣環境、改善人類生存有著重要意義。

值得一提的是,胡可就職於阿里媽媽搜索直通車算法團隊,他主要的工作內容是做廣告排序算法,如應用深度學習模型解決業務問題,團隊也在應用並優化多種深度學習模型,其日常工作中積累的深度學習經驗在比賽中起到了關鍵作用。

斬獲三項大獎的秘密:空氣預報特徵+深度學習模型解決空氣預測難題

與往年只有最終成績獎項不同,KDD Cup 2018計入了比賽過程中的成績並設立了三項大獎——「The General Track」、「最後10天專項獎」、「最佳長期預測獎」,從三個維度來獎勵比賽中表現突出的隊伍。而「getmax」也因全面而突出的表現,從4000多個參賽隊伍中脫穎而出,成為唯一一個斬獲三項大獎的隊伍,分別取得一項亞軍、兩項冠軍的成績。

本屆賽題十分獨特,空氣品質預測不僅具有規律性弱、不穩定、易突變的特點,並且因為要預測未來48小時中的每個小時,以及北京/倫敦城市內幾十個預測地點,建模時間序列以及地點拓撲關係給機器學習模型帶來挑戰。

在胡可看來,最終的成績主要來自於特徵與模型兩方面的優化。

特徵方面:

發現風速和風向是長期預測與突變預測的關鍵,所以在比賽中在時間與空間維度細化了天氣預報的特徵,並且運用噪音處理與分箱平滑、以及神經網絡結構調整解決天氣預報訓練數據缺失引起的不一致問題。

模型方面:

除運用細粒度特徵工程的樹模型外,也運用深度學習模型進行相對自動的特徵間以及序列間關係挖掘。並且針對長時間序列問題的特點,對DNN網絡與RNN網絡分別進行了優化調整,解決了序列間預測值接近、長序列預測值不穩定等問題。

之所以會用以上的思路解決問題,胡可說,工作場景起到了在實際問題中積累思路與技術的作用,「對深度學習模型的應用是前面隊伍排名區分的關鍵,在比賽中應用的DNN/RNN模型在自己工作中的廣告領域有很多探索。」

阿里媽媽打造Ad Tech:用技術進步驅動營銷

「比賽中的有些開源解決方案,具有與實際工業界互相促進的作用。」胡可對算法比賽很感興趣,他也是去年KDD Cup 的冠軍獲得者。

之所以活躍於全球頂級的算法大賽中,胡可表示,KDD Cup是工業界和學術界都非常關注的一個比賽,也產出過很多對業界有影響的技術,比如KDD Cup 2012 產出的XGBOOST和FFM模型對工業界產生了很大的推進作用,而在工業界有了一定應用沉澱後,又不斷地對這兩種模型進行優化。

他也希望能夠向這個方向努力,預測環境問題與廣告問題看似場景不同,但技術本身是相通的,工作和比賽都是在針對具體問題運用機器學習相關算法進行建模與優化。在算法比賽中一方面將工作中熟悉的技術應用於各種實際問題,另一方面則加深對技術的理解並且將新的理解應用到未來工作中。

這也正是阿里媽媽技術團隊所倡導的,作為阿里巴巴旗下的大數據營銷平臺,阿里媽媽在今年提出了打造營銷科技Ad Tech的品牌戰略,在其原有業務的探索基礎上,加深與學術界的交流,阿里媽媽每年都有一些新論文入選到IJCAI、WWW、AAAI等技術領域的國際頂級會議上,今年也有論文入選了此次SIGKDD會議,阿里集團共有14篇文章被收錄;同時,它也通過主辦算法大賽來增進算法交流,例如攜手國際人工智慧的頂級盛會IJCAI以及阿里雲天池平臺,共同舉辦的IJCAI 2018阿里媽媽國際廣告算法大賽。

在阿里媽媽Ad Tech的理念之下,通過技術的不斷進步,來驅動廣告場景的持續優化,理想正在逐步照進現實。

相關焦點

  • KDD Cup 2018 冠軍「 first floor to eat latiao」:為什麼取這個...
    今年的 KDD Cup 從空氣問題入手,組委會在比賽中提供中國北京和英國倫敦的相關數據,比賽選手需要預測未來 48 小時內 PM2.5, PM10 和 O3 的濃度(倫敦只需要預測 PM2.5 和 PM10)。在 48 小時後,選手提交的結果將通過真實的天氣數據評分。
  • AI 影響因子 8 月份回顧:騰訊 AI Lab 再佔榜首
    KDD 上有四篇 oral 論文被錄用,內容包括:阿里巴巴在罕見的分類分析的進展、在社交媒體上用交互式路徑嵌入正確的人、通過手機訪問記錄做人物畫像、培養更智能的在線欺詐檢測器。全國知識圖譜與語義計算大會(CCKS 2018)於 8 月 14 日至 17 日在天津舉行,在 CCKS 2018 中文電子病曆命名實體識別評測任務中,阿里健康團隊奪得冠軍,這一任務基於 600 份標註好的電子病歷文本,參賽者需通過識別並抽取出其中與醫學臨床相關的實體,並將它們歸類到預先定義好的類別中
  • 500位全球算法開發者零獎金參加阿里雲天池大賽 AI預測颱風助力...
    9月26日,在杭州雲棲大會 GEEKLAND 現場,由阿里雲天池大賽主辦的追風少年-颱風圖像時間序列預測Hackathon正式舉行。大賽旨在召集全球算法開發者,聚焦人工智慧與氣象的深度結合,探尋精確預測颱風的算法方案,助力國內自然災害防災減災工作。
  • 阿里KDD2017論文:基於大規模圖計算的本地算法對展示廣告的行為預測
    如深度學習語義建模研究中提出了一種新的文本語義編碼算法 conv-RNN,該模型在參考了較為常用的文本語義編碼模型循環神經網絡與卷積神經網絡的同時,進行了進一步的文本語義編碼優化,實現更為精準的文本分類和問答匹配並已應用於阿里智能音響「天貓精靈」。
  • 人民國肽斬獲2018中國品牌影響力三項大獎
    5月24日至25日,2018(第五屆)中國品牌影響力評價成果發布活動北京隆重舉行。作為中國大健康產業品牌先鋒企業,人民國肽集團於眾多優秀品牌當中脫穎而出,同時斬獲「2018中國(行業)十大影響力品牌」、「中國改革開放四十年·品牌影響力肽行業領軍品牌」、「2018中國品牌影響力100強」三項大獎,成為本屆論壇的最大贏家。受集團委派,人民國肽集團副總裁金鳳女士受邀出席頒獎典禮,與現場500餘名嘉賓領導、專家學者、企業代表共話中國民族品牌魅力。
  • 阿里媽媽坎城推AI智能文案 文案像公式一樣推導出來
    來源:金融界網站6月20日,阿里媽媽在坎城國際創意節上正式發布「AI智能文案」產品,結合淘寶、天貓的海量優質內容與自然語言算法,可基於商品自動生成高品質文案。據悉,該產品目前主要聚焦於商品文案,可實現三項核心能力——高度模擬人寫文案、自由定義字數、實時在線樣本學習,對從事商品文案的工作者來說,以往繁重的腦力活變成了輕鬆的選擇題。 它也為「技術與創意如何更好的結合」作出了解答。
  • 空中網斬獲CGWR中國遊戲排行榜三項大獎
    北京2015年4月23日電 /美通社/ -- 4月22日,2014年度新浪 CGWR 中國遊戲排行榜頒獎盛典在北京國家會議中心落下帷幕,中國領先的網路遊戲研發商和運營商空中網一舉斬獲三項大獎。
  • KDD 2018:滴滴提出WDR模型顯著提升ETA預測精度
    事項:KDD 2018獨家約稿
  • 中國軍團稱霸KDD:華人博士獲最佳論文,清華北大華為等榜上有名
    康奈爾大學華人博士Dong Kun以一作身份斬獲研究賽道最佳論文,初創公司獎項、KDD CUP三大賽事,也基本被中國公司包攬。而第二個問題,廣告牌分布的問題需要用算法解決。研究團隊發現直接用貪心算法是不行的,於是提出了基於切線的算法計算子模塊函數,為了提高效率,設計了θ終止方法和漸進式上限估計方法進行優化。最後,研究團隊在用紐約和洛杉磯兩個城市的真實軌跡和廣告牌數據集進行實驗後,驗證這項研究中提出的方法是有效的。
  • KDD 2020創新獎、時間檢驗獎等六項大獎出爐!
    作者 | 陳大鑫編輯 | 陳彩嫻8月13日 KDD 2020 宣布了2020年ACM SIGKDD創新獎、服務獎、論文獎、新星獎、時間檢驗研究獎、時間檢驗應用科學獎等六項大獎的獲得者,這些獎項是針對數據科學,機器學習,大數據和計算機科學領域的傑出個人和研究團隊而設立的。
  • 不一樣的論文解讀:2018 KDD best paper「Embeddings at Airbnb」
    關於長短期興趣,業界討論很多,我的理解是長期興趣更穩定,但直接用單個用戶行為太稀疏了,無法直接訓練,一般會先對用戶做聚類再訓練。如何讓 Embedding 向量學到東西模型細節一般情況下,我們直接用 Word2vec,效果就挺好。
  • 中國材料學家楊培東,斬獲國際大獎,能力與貢獻獲得大眾認可
    近些年陸續有我國專家學者獲得國際知名大獎的好消息從國外傳來,這一定程度上也是對我國人才培養體系以及教育體系的肯定。今天我們要為大家介紹的是我國的一位材料學家,作為中科大的校友斬獲了國際大獎,被視為是排名全球第一的材料學家。
  • 如何斬獲KDD Cup兩冠一季?美團廣告團隊公開解決方案
    Debiasing 賽題賽題介紹與問題分析KDD Cup Debiasing 賽題是電子商務用戶下一次點擊商品預測(Next-Item Prediction)問題,核心關注點在於如何解決推薦系統偏差。最後一次提交要求選手在之前沒見過的數據集上進行自動化建模。冠軍解決方案針對以上三個挑戰,aister 團隊設計了一個自動化圖學習框架,如圖 11 所示,該框架對輸入的圖進行預處理和圖特徵構建。
  • 陳根:阿里斬獲AI領域「奧斯卡」四項冠軍,人工智慧發展潛力或將大於人類
    」)獲得四項比賽的世界冠軍,其中,在難度最高的 DAVIS( Densely Annotated Video Segmentation,密集標註視頻分割 )挑戰賽中,阿里提出了可以精準預測視頻目標位置的方法
  • DeepMind推出蛋白質結構預測算法,大勝人類傳統模型!
    前幾天,DeepMind宣布推出全新的AlphaFold系統,能夠預測並生成蛋白質的3D結構。這一系統在周日進行的國際蛋白質結構預測競賽(CASP)上擊敗了其餘的參會選手。 我們都知道,蛋白質是維持我們生命所必需的龐大而複雜的物質。我們身體的幾乎所有功能,例如收縮肌肉、感知光線或將食物轉化成能量等,都需要一種或多種蛋白質來完成。
  • 深挖AI價值與溫度,AETA地震預測AI算法大賽開啟
    顯然並非如此。經過四年的數據積累和分析,該團隊在地震臨震預測準確度上有了突破性的進展。可是地震預測預報問題的求解絕非易事,然而該團隊力量有限。因此,AETA 地震預測 AI 算法大賽便應運而生,希望更多的社會各界的智慧力量能夠共同參與地震臨震預測的求解。
  • 電競外設更有設計實力 飛智八爪魚手柄斬獲2018紅點大獎
    日前,在2018德國紅點獎設計大獎(Red Dot Award: Product Design)評選中,飛智科技旗下剛於2017年10月份發布至今就備受消費者信賴和認可的八爪魚電競手柄,一舉斬獲全球頂級工業設計獎項——2018年德國產品紅點設計大獎,成為國內首個獲此獎項的手柄。
  • 論文詳解:滴滴大數據預測用戶目的地,準確率超90% | KDD 2017
    此外為了進一步提高用戶叫車時的體驗,滴滴還開發了一個目的地預測模型,能在用戶打開軟體時,2毫秒為用戶推薦出他最可能前往的地點。目前這一功能的預測準確率已經超過90%。1、分單時優化整體成交率早期,計程車打車軟體的訂單分配主要聚焦在每個訂單與每個計程車司機的相關性算法上。
  • 天貓精靈X1繼銷量百萬後,又斬獲2018德國「紅點」設計大獎
    剛剛,設計界的「奧斯卡」德國紅點設計大獎公布2018年產品設計大獎,中國企業阿里巴巴人工智慧實驗室斬獲頗豐,獲獎作品包括天貓精靈X1、天貓魔屏A1、天貓魔屏S1三款產品。我們都知道,在工業設計界,紅點設計大獎代表著全球工業頂尖的設計水平,而天貓精靈X1能得到嚴謹的德國評委一致認可,不得不說,太厲害了。基於用戶設計的第一款智能語音硬體產品,是罕見地能將用戶、科技與娛樂融為一體,場景化也體現得淋淋盡致的作品。