近日,國際數據挖掘與知識發現大會(ACM SIGKDD,簡稱KDD)在官網上公布其年度賽事KDD CUP 2020結果。東南大學交通學院劉志遠教授指導的參賽隊伍TLab (成員包括劉洋博士、呂呈碩士等學生)經過幾個月的激烈較量在強化學習賽道(Reinforcement Learning Competition Track: Vehicle Repositioning Task)中從來自世界各地的1000餘支參賽隊伍中脫穎而出,獲得冠軍。南京大學LAMDA Group、來自日本的NTTdocomo團隊分別獲得第二、三名。
國際數據挖掘與知識發現大會由美國計算機學會(ACM)數據挖掘及知識發現專委會(SIGKDD)主辦,被中國計算機學會(CCF)推薦為A類國際學術會議,至今已舉辦26屆。其中KDD CUP是ACM SIGKDD組織的年度賽事,素有"大數據領域世界盃"之譽,是目前數據挖掘領域最高水平、最具影響力、規模最大的國際頂級賽事。
2020年的KDD CUP開設3個競賽賽道,其中強化學習競賽賽道"Learning to Dispatch and Reposition on a Mobility-on-Demand Platform"由滴滴出行承辦。參賽者需要解決網約車平臺的訂單匹配與車輛調度問題,其中訂單匹配任務需要每兩秒鐘進行一次匹配,車輛調度任務則需要在成都8000餘個六邊形網格內進行運力調度。相關算法可將乘客潛在出行需求與合適的司機相匹配,從而更高效地利用空置車輛,提高車輛周轉率,提升用戶體驗與司機收入水平,優化系統運營效率。
巧破賽題、推陳出新
現有的多智能體強化學習方法將每一輛車看作是一個智能體,在進行仿真時,車輛按照調度算法前往目的地或者進行有偏隨機遊走,並沒有考慮司機的偏好。這會帶來以下問題,當多輛車state相同時(並發情況),這些車輛的決策是相同的,也就是在這種情況下多個智能體是"冗餘"的,只是其中一個的"副本"。
針對現有方法的不足,劉志遠指導的TLab團隊對現有方法進行了系統、全面的優化,進一步設計了一種更符合邏輯的單智能體深度強化學習方法。
例如,該方法將單智能體作為智能"調度中心",車輛發出調度請求後,"調度中心"進行全局運力調度。結合此前在大規模時空預測中的經驗,進一步對研究區域進行篩選並自定義了一個N×N的網格,將全局信息(整個城市訂單、車輛、價值的時空分布)和局部信息(車輛當前位置等)作為state。採用了一個經過剪枝的全局action space, 防止車輛陷入局部最優。
劉志遠介紹說:"滴滴公司提供的數據大約是這樣:每天有21萬個訂單,3萬個計程車司機,24個小時的時間動態變化的數據,一共提供了一個多月的數據給我們來進行模型訓練。模型訓練完之後,我們把模型提交給主辦方,主辦方再利用其仿真環境對我們進行算法的測評,最後經過初賽、複賽的多輪嚴格的測評,他們認定我們優於其他的團隊。"
經過幾個月激烈較量,東南大學TLab團隊在Dev Reposition Score、Total Reposition Score兩項比分中大幅領先,最終以優異的成績在1000餘支隊伍中摘得桂冠。
2020年KDD杯-強化學習賽道獲獎名單
團隊介紹
指導老師 劉志遠
劉志遠:博士生導師,博士畢業於新加坡國立大學,曾任教於澳大利亞蒙納士大學。東南大學交通學院副院長、學術委員會委員、澳大利亞蒙納士大學客座教授。主要研究領域包括交通網絡規劃與管理、交通大數據分析與建模、公共運輸、智能交通系統等,發表SCI論文百餘篇,擔任交通研究領域知名SCI期刊ASCE Journal of Transportation Engineering 以及IET Intelligent Transport Systems副主編。
團隊成員 劉洋
劉洋:博士,2017年入學,成為東南大學交通學院劉志遠教授課題組成員,研究方向為機器學習算法及其在交通工程中的應用。已在國際刊物發表論文多篇,包括IEEE Transactions on Cybernetics、Transportation Research Part C、IEEE Transactions on Intelligent Transportation Systems等,同時獲得十餘項人工智慧算法大賽冠亞軍,包括三屆阿里巴巴天池算法大賽冠軍(2016,2018,2019)、IEEE CS Ucar人工智慧大賽冠軍(2018)、IJCAI人工智慧對抗挑戰賽冠軍(2019)、KDD CUP 多模式交通推薦亞軍(2019)等。
團隊成員 呂呈
呂呈:碩士,2018年本科畢業於東南大學交通工程專業後加入劉志遠教授課題組攻讀碩士學位,研究方向為交通大數據分析與建模。已在SCI期刊IEEE Transactions on Intelligent Transportation System、Computer-Aided Civil and Infrastructure Engineering等發表論文5篇,同時也獲得多項人工智慧大賽獎項,包括2019全國高校新能源汽車大數據創新創業大賽金獎、2019全國高校大數據應用創新大賽一等獎、ICME 2019 Grand Challenge on Short Video Understanding Challenge第三名等。
東南大學交通學院交通運輸工程學科結合網際網路企業,交通運輸行業中的業務痛點,與華為、滴滴、中國移動、中國電信等各領域龍頭企業緊密合作,開發出人工智慧和大數據的技術成果,運用到數據分析平臺中,為智慧城市的建構提供技術保障。
本文素材來自:東南大學官網、官微