JUST技術:基於無參生成模型的行人軌跡生成

2020-12-27 無釐頭小學弟

在大數據時代,位置數據成為各方都亟待挖掘的數據寶藏,比如在城市交通基建規劃、商業選址、線下廣告等場景中,都是以位置數據為重要基礎。但在此過程中,隱私問題一直未得到有效解決,如何在保護原始數據不被洩露同時,更好地服務於各種城市應用呢?

本文將介紹南洋理工大學與SAP聯合在IJCAI 2018上發表的論文《A Non-Parametric Generative Model for Human Trajectories》,文章通過真實軌跡學習城市人群的出行分布來生成軌跡,生成軌跡可以代替包含用戶隱私信息的真實軌跡,來達到相近數據分析、上層業務建設的效果,避免位置信息外洩。文章有效地學習了軌跡的位置序列Embedding,進而,通過對抗式生成網絡(GAN)來學習軌跡分布並生成模擬軌跡。

背景

想要建模城市中的人群移動特性是很有挑戰的:1)軌跡狀態空間很大;2)軌跡具有很強的獨一無二性,很難找到兩個軌跡完全相同的人;3)人群的軌跡具有相似的隱式語義,比如上班、下班、旅遊,需要用有效的表徵刻畫出這些相似的語義來;4)軌跡序列內的位置相關性與軌跡間的相關性難以顯式定義。

圖 1:算法框架

為了解決上述挑戰,論文首先將軌跡映射到空間網格中,轉為矩陣,每個網格包含了軌跡的訪問該網格時間與駐留該網格時長信息;然後,通過對抗式生成網絡來學習上述矩陣化後的軌跡數據,並生成相似軌跡。實驗驗證了生成軌跡對個體軌跡特徵、軌跡統計特徵有較好的保留,並與真實軌跡難以區分。

問題定義

我們記一條軌跡為經緯度時序序列

其中表示軌跡在時刻經過坐標。給定軌跡數據,問題定義為學習軌跡數據的分布函數,即。

在軌跡長度很大時,想要學出的分布是非常困難的。作者認為,馬爾科夫模型的有限階依賴關係無法學習長軌跡的先後位置關聯關係;而基於循環神經網絡如LSTM的做法,由於也被發現在長序列生成中會出現偏離[1],也不能很好適用於軌跡生成。

軌跡表徵

這裡介紹論文的軌跡表徵方式。不同於往常用時間序列來表示軌跡(就如問題定義中介紹那樣),作者從空間視角出發,將軌跡時間序列轉化為矩陣形式。

具體來說,首先城市被劃分為的網格,並將輸入軌跡轉為大小為的矩陣。包含了計算軌跡與每個網格的兩項信息,其中分別為:軌跡進入該網格的時間,與軌跡在網格內停留的時間。例如,下圖a的城市網格中,圖b的軌跡在5:00出現在網格0,一個小時後進入網格3,然後經過兩小時在8:00進入網格4直到9:00。圖c是以一小時位精度的矩陣化的結果,以網格3對應位置,即為例,由於軌跡在6:00開始進入網格3,所以,且在8:00離開,期間經過2小時,所以。

圖 2:軌跡表徵實例

上述方法還需考慮一種情況——軌跡多次訪問某一個網格。論文的做法是將矩陣擴展為三維張量,以記錄軌跡第K次訪問的時間與停留時長。

對抗式生成模型GAN及其訓練

區別於需要人工設定目標分布形式的參數化分成模型,對抗式生成模型使用深度神經網絡來學出目標分部形式,避免人工設定,來達到無參數化的目的。作者利用了對抗式生成模型的這一優勢,來學習軌跡數據的分布。

作者直接採用了梯度較為穩定的WGAN-GP的框架進行模型訓練。形式化來說,若給定真實軌跡數據,GAN同時學習用於生成軌跡的生成網絡和用於辨別軌跡是否真實(而非人造)的辨別網絡。和均採用卷積網絡CNN來處理矩陣化的軌跡數據,以豐富軌跡局部特徵的提取。訓練的損失函數為

其中是簡單隨機分布如均勻分布、高斯分布等; 通過真實數據與生成數據的凸組合得到。優化目標分為三項,A項為辨別人工軌跡的損失,B項為辨別真實軌跡的損失,C項是避免梯度異常的懲罰項,以表示懲罰權重。

注意不同於常規模型訓練僅更新參數來縮小損失函數值,對抗式生成模型的訓練過程會反覆地通過先更新來最大化辨別誤差,以欺騙;再更新來最小化辨別誤差,以破解。詳細過程可以參考GAN相關文獻。

實驗結果

實驗設定

軌跡時序數據具有高維特點,直接驗證生成軌跡的概率分布是否符合真實數據,在計算量上可行性較差。為此,作者選了四項統計量,通過驗證統計量分布是否一致來驗證軌跡分布是否一致,這裡列出兩項:和,分別表示網格與停留時長的聯合分布,和網格與進入網格時間的聯合分布。分布差的通過常用的琴森香農散度(JSD)來衡量:

準確度效果

實驗將原始軌跡數據對半分成訓練數據和測試數據,並在每一輪訓練後生成軌跡。如下圖所示,生成軌跡與訓練數據、測試數據分別計算JSD值,分別以藍、紅表示。

圖 3:訓練過程

生成軌跡語義真實性

作者同時對生成軌跡的語義進行分析,判斷生成軌跡是否還原了真實軌跡的語義。這包含了兩項驗證:常訪問位置真實度和相對語義真實度。

圖 4:常訪問位置top50準確性

在常訪問位置真實度驗證中,作者分別用論文方法與馬爾科夫方法生成了軌跡,並統計top50的常訪問地,與真實top50常訪問位置進行比較計算精確度。如上圖所示,論文方法比馬爾科夫方法更準確地反映了真實top50訪問位置,並達到至少70%的精度。

在相對語義真實度驗證中,作者採用了pair-wise軌跡語義距離的分布作為評價指標。首先作者採用了一種常用的軌跡語義距離公式:

然後對生成軌跡與真實軌跡分別提取1000個軌跡pair計算pair-wise距離,得到了生成軌跡與真實軌跡的語義距離樣本集,並對比生成距離樣本與真實距離樣本的分布,下圖展示了兩組樣本的各分位數對比情況,驗證了生成軌跡在相對語義分布上與真實軌跡相似。。

圖 5:相對語義距離分布的分位數對比

小結

本文主要介紹了一篇比較有代表性的,在已有軌跡城市生成人造軌跡的論文。在當時,比較創新的點在於對軌跡的矩陣化表徵、和GAN的應用。將來會分享更多軌跡生成和城市流動性建模的相關研究或觀點。

相關焦點

  • .| Mol-CycleGAN:基於Graph的分子生成優化模型
    今天給大家介紹的是雅蓋隆大學數學與計算機科學學院的學生Łukasz Maziarka和Agnieszka Pocha於2020年1月8日發表在Journal of Cheminformatics的一篇論文,他們受現Adobe公司研究學者朱俊彥在2017年提出的無關聯圖像生成模型CyCleGAN啟發,提出了一種新的基於Graph的分子圖生成優化模型——Mol-CycleGAN,該模型可生成與原始化合物具有高度結構相似性的優化化合物
  • 基於深度學習的三大生成模型:VAE、GAN、GAN的變種模型
    本章將為讀者介紹基於深度學習的生成模型。前面幾章主要介紹了機器學習中的判別式模型,這種模型的形式主要是根據原始圖像推測圖像具備的一些性質,例如根據數字圖像推測數字的名稱,根據自然場景圖像推測物體的邊界;而生成模型恰恰相反,通常給出的輸入是圖像具備的性質,而輸出是性質對應的圖像。
  • 今日Paper|2019-nCoV傳播預測;行人重識別;協同時態建模;舞蹈生成等
    目錄用綜合方法預測2019-nCoV傳播的結束 通過被動WiFi傳感和數據挖掘了解社會事件中的人群行為用於RGB-紅外行人重識別的交叉模態配對圖像生成CTM:面向動作識別的協同時態建模Music2Dance:使用WaveNet的音樂驅動的舞蹈生成 用綜合方法預測2019-nCoV傳播的結束 論文名稱:Predictions
  • 微軟分享史上最大基於Transformer架構的語言生成模型
    微軟AI&Research今天分享了有史以來最大的基於Transformer架構的語言生成模型Turing NLG(下文簡稱為T-NLG),並開源了一個名為DeepSpeed的深度學習庫,以簡化對大型模型的分布式培訓。
  • 深度圖生成模型綜述:5類模型及前景(附PDF下載)
    得益於基於圖的深度學習技術的進步,圖生成模型有了發現新穎的分子結構、建模社交網絡等在圖上的新應用。近日arXiv的一篇綜述文章對基於深度學習的圖生成模型進行了全面的調查,將現有模型劃分為五大類,並分別進行了詳盡的描述,本文是對該文章內容的整體介紹。
  • JUST技術:基於深度學習Seq2Seq框架的技術總結
    最常見的Seq2Seq模型是解碼器-編碼器(Encoder-Decoder)模型,由於時序數據的序列性質,通常情況下,我們使用RNN(Recurrent Neural Network)在Encoder中得到輸入序列的特徵向量,再將此特徵向量輸入Decoder中的另一個RNN模型,逐一生成目標序列的每一個點,圖1展示了該模型的基本框架,以德文翻譯至英文為例:
  • OpenAI提出可逆生成模型Glow
    近日來自 OpenAI 的研究科學家 Diederik Kingma 與 Prafulla Dhariwal 卻另闢蹊徑,提出了基於流的生成模型 Glow。據介紹,該模型不同於 GAN 與 VAE,而在生成圖像任務上也達到了令人驚豔的效果。該研究一經發表,立刻引起了機器學習社區的注意,有人對此表示:終於,我們有了 GAN 以外的優秀生成模型!
  • (無監督學習/生成模型篇)
    囿於篇幅限制,雷鋒網(公眾號:雷鋒網)整理編譯了無監督學習/生成模型的七篇論文,並增加了論文的概要,方便讀者快速了解。自然圖像分布的建模在無監督學習中是一個裡程碑式的難題,因為圖像的高維度和高結構性,建模時需要考慮模型的可表達性,可控性和可擴展性,這使得很多模型在建立時以犧牲性能為代價,才能提取出有意義的圖像表徵。
  • 無監督學習/生成模型篇
    囿於篇幅限制,雷鋒網整理編譯了無監督學習/生成模型的七篇論文,並增加了論文的概要,方便讀者快速了解。自然圖像分布的建模在無監督學習中是一個裡程碑式的難題,因為圖像的高維度和高結構性,建模時需要考慮模型的可表達性,可控性和可擴展性,這使得很多模型在建立時以犧牲性能為代價,才能提取出有意義的圖像表徵。
  • 論文筆記:第一人稱視角視頻中的行人軌跡預測
    基於第一人稱視頻相關的研究主要對應的應用領域包括盲人導航,AR等相關領域。這篇文章所提出的Future Person Localization問題具體而言,就是已知t時刻及之前幾幀圖像中行人的相關信息,要求算法預測未來幾幀中該行人會出現在圖像中的什麼位置。問題示意圖如下圖所示。關於這個任務的技術有很多的用途,比如幫助行人避開迎面走來的行人,或是幫助移動機器人來規劃運動的路徑。
  • 基於層次過濾的文本生成
    Cascaded Decoding with Markov Transformers論文連結:https://arxiv.org/abs/2006.01112論文代碼:https://github.com/harvardnlp/cascaded-generation引言目前文本生成最常用的算法基於
  • 生成式模型入門:訓練似然模型的技巧
    機器之心編譯參與:李志偉、Geek AI生成模型不止有 GAN,本教程討論了數學上最直接的生成模型(易處理的密度估計模型)。讀罷本文,你將了解如何定量地比較似然模型。散度最小化:生成模型的一般框架生成模型(其實都是統計機器學習模型)旨在從一些(可能是條件的)概率分布 p(x) 中取樣本數據,並學習對 p(x) 進行近似的模型 pθ(x)。建模過程使我們可以基於給定的原始數據外推觀察到的信息。
  • 京東智能內容創作算法的演進與實踐:基於關鍵詞自動生成摘要
    來源 | 京東智聯雲開發者導讀:京東商城背後的 AI 技術能力揭秘: 基於關鍵詞自動生成摘要過去幾十年間,人類的計算能力獲得了巨大提升;隨著數據不斷積累,算法日益先進,我們已經步入了人工智慧時代。確實,人工智慧概念很難理解,技術更是了不起,背後的數據和算法非常龐大複雜。
  • 一個用於代碼生成的基於語法的結構化CNN解碼器
    在本文中,我們提出了一種基於語法的結構化卷積神經網絡(CNN)用於代碼生成。我們的模型通過預測程式語言的語法規則來生成程序;我們設計了幾個CNN模塊,包括基於樹的卷積和先序卷積,它們的信息通過專門的注意池化層進一步聚合。在HearthStone基準數據集上的實驗結果表明,我們的CNN代碼生成器顯著優於之前最先進的方法5個百分點;在幾個語義解析任務上的額外實驗,證明了我們模型的健壯性。
  • 機器學習中的判別式模型和生成式模型
    則學習到的條件概率分布(判別式模型)如下:而學習到的聯合概率分布(生成式模型)如下:在實際分類問題中,判別式模型可以直接用來判斷特徵的類別情況;而生成式模型需要加上貝葉斯公式,然後應用到分類中。但是,生成式模型的概率分布可以有其他應用,就是說生成式模型更一般更普適。
  • 基於Conditional Layer Normalization的條件文本生成
    相關工作八月份的論文 Encoder-Agnostic Adaptation for Conditional Language Generation [1] 比較系統地分析了利用預訓練模型做條件生成的幾種方案;九月份有一篇論文 CTRL: A Conditional Transformer Language Model for Controllable Generation [2] 提供了一個基於條件生成來預訓練的模型
  • ICCV 2019 | 從多視角RGB圖像生成三維網格模型Pixel2Mesh++
    文章提出了從幾張已知相機位置的多視角彩色圖片生成三角網格模型(3D Mesh)的網絡結構。 MDN 的模型本質上是 GCN,並且可以與其他基於 GCN 的模型(例如 Pixel2Mesh [2])共同訓練。但不同點在於 MDN 中的圖除了直接表示 3D Mesh 的頂點,還有頂點位置與形變假設(Deformation Hypothesis)組成的局部 GCN。
  • 《安娜卡列尼娜》文本生成——利用 TensorFlow 構建 LSTM 模型
    - 模型訓練:設置模型參數對模型進行訓練- 生成新文本:訓練新的文本主題:整個文本將基於《安娜卡列妮娜》這本書的英文文本作為 LSTM 模型的訓練數據,輸入為單個字符,通過學習整個英文文檔的字符(包括字母和標點符號等)來進行文本生成。
  • 基於Python 的自動文本提取:抽象法和生成法的比較
    提取文本摘要首先,簡單描述當前已經存在的一些流行的文本摘要算法和實現:Gensim中的文本摘要gensim.summarization模塊實現了TextRank,這是一種Mihalcea等人的論文中基於加權圖的無監督算法
  • VAE、GAN、Info-GAN:全解深度學習三大生成模型
    在深度學習之前已經有很多生成模型,但苦於生成模型難以描述難以建模,科研人員遇到了很多挑戰,而深度學習的出現幫助他們解決了不少問題。本章介紹基於深度學習思想的生成模型——VAE和GAN,以及GAN的變種模型。本節將為讀者介紹基於變分思想的深度學習的生成模型——Variational autoencoder,簡稱VAE。