隨著科技創新急速改變著金融市場,越來越多的機構和資金湧向「數字支付和數字形式的貨幣」。一個多月前,擁有超過 3 億活躍用戶的 PayPal 宣布將支持客戶買賣和持有比特幣,消息一出就引爆了市場。
1998 年到 2002 年,PayPal 從創立到上市只用了 4 年,然後以 15 億美金被電商巨頭 eBay 收購,成為了早期網際網路時代的一個奇蹟。這充滿挑戰的四年曆程讓 PayPal 開枝散葉般地製造了很多偉大的公司和企業家,也在金融支付領域站穩了腳跟。
1
PayPal 反欺詐技術的突破與成長
詐騙和風險控制是金融行業繞不開的安全話題,作為領先的跨境支付企業,PayPal 一直面臨著極大的風控壓力和挑戰,風險控制部門也成為了 PayPal 的關鍵部門。
2012 年,用數據和模型構建第三方支付風控體系也正處於傳統和大數據結合的時間節點上,被「警察抓小偷」遊戲模式吸引的張彭善主動加入了 PayPal 上海研發中心,回想起加入 PayPal 的八年多的時間,PayPal 風險管理計算平臺研發架構師張彭善有很多感慨:「這期間我依次參與了離散大數據特徵計算平臺、機器學習平臺、仿真計算平臺、線上數據計算平臺以及實時圖計算平臺等核心系統的構建,回想起來每個階段都會有不同的技術難題,但同時技術支撐和解決問題的過程又能給業務帶來價值,我很享受工作中帶來的挑戰。」
當年 PayPal 為了反欺詐研發了很多技術,PayPal 的員工通過數據去分析詐騙分子的特徵,利用發現的規律進行欺詐檢測,技術人員還想到一個至今被應用在很多場景的方法,他們生成一些印有各種扭曲的字母,背景模糊的圖片機器很難識別,但是人卻可以識別,大大減少了自動註冊的比例。這些累積的技術和經驗成就了彼得·蒂爾後來成立的神秘的大數據公司 Palantir,也奠定了 PayPal 成為全球使用最為廣泛也最值得信賴的第三方支付工具之一。
欺詐檢測的解決方案主要基於數據,PayPal 利用數據訓練了非常多的模型,比如說一些主要應用的機器學習以及深度學習的模型。模型在一些複雜的欺詐檢測場景表現得還不錯,但還是有一些實時的欺詐卻很難立刻反映到模型裡面,因此再用規則作為模型的有力補充,可以靈活地去制定規則並部署到線上做風險防控。當然最終的基礎都是數據和計算。
PayPal 風險管理計算平臺研發架構師張彭善表示:「欺詐檢測主要是作為風險管理的一個手段,我們通過使用欺詐檢測降低公司損失,最重要的是我們能夠去建立一個更加安全、更加值得信賴的支付平臺。我們的 CRO 把自己定義為 CHIEF TRUST OFFICER,就是說我們把創建一個值得信賴的支付平臺當作整個部門的願景和目標。這裡有一個第三方調研數據,PayPal 在顧客信任度、用戶隱私保護信任度上排在第一,這也從側面印證了我們在這樣一個目標上做得還不錯。」
2
數據計算平臺:PayPal 風險管理的躍遷
PayPal 一直以來都致力於通過機器學習和 AI 模型來管理支付風險,並基於風險管理不同的業務需求構建了不同數據特點的計算平臺,其中包括離線行為特徵計算、實時行為特徵計算,實時模型推斷計算以及歷史仿真計算平臺。
不難看出,PayPal 的整個風險管理系統構建在由數據作為基礎的機器學習智能模型和智能決策之上。數據是構建風險管理平臺不可或缺的元素,任何風險管理能力離開數據都很難施展。而計算不僅是機器學習平臺的基礎,也是整個風險管理計算平臺的基礎。因此在這一過程中,計算、數據和平臺構成了一個有機的統一整體,用以支撐風險管理的業務。
目前各大公司都在構建端到端的大數據機器學習平臺,將大數據、機器學習、線上服務融合到一個端到端的平臺。這樣可以高效構建起整個機器學習模型的管道,數據以及模型的更改僅需要一些簡單的操作就可以做到。PayPal 是如何構建端到端的數據計算平臺,做到高效統一的呢?
在張彭善看來,一是開發構建各種子計算平臺,二是將所有組件有機地統一起來構建成一個更大的面向用戶的端到端的平臺。不同的階段面臨著不同的問題和挑戰。首先擁有支撐風險管理業務的各個子平臺組件是第一步,初期 PayPal 內部從 0 到 1 為子平臺組提供各種數據計算能力。隨著業務的發展和需要,如何面向用戶提高系統級別的計算能力這一需求變得更加強烈。
談到如何將各個組件組合成端到端的統一整體,張彭善有著豐富的經驗:「一是線上和線下系統的有機結合,歷來線下和線上系統的數據不一致是構建各種數據計算系統的一大難題,從源數據和計算邏輯一致性上統一線上線下系統是提前解決節約排查時間最有效的方式。二是解決各種計算的可重用性問題,隨著後期業務對於計算需求的增加,這個問題會造成非常多的重複計算和系統資源的浪費,為了整個底層計算系統的打通和共享,也為了解決了之前系統不足的問題,因此這需要提前布局。」
過去一年,張彭善一直關注圖實時計算領域,圖計算作為風險管理必備的維度的數據計算能力,也是 PayPal 風險管理系統最近一兩年主要升級的部分。圖計算結合實時圖數據更新和實時圖連接關係,為風險管理業務提供了更加實時和精準的連接關係特徵。最近幾年 PayPal 風險管理內部另一個比較重要的升級來自於模型和策略的自動上線系統,由於端到端的系統帶來的好處,該系統可以實現定時自動構建新的訓練數據、訓練新的模型並部署上線用於風險管理業務,全程幾乎不用人工的介入,極大地提高了新模型上線的效率。
3
技術 +「One team 」文化,加速迎未來
機器學習在網際網路行業的應用推動了大數據平臺和 AI 平臺的融合,如今機器學習技術早已佔據了主流地位,無論是在風控、推薦、廣告和搜索場景都得到了大量的運用,但是無論從平臺還是從業務角度都依然面臨著許多問題。
一是穩定性和實時性一直面臨著很大的挑戰,在支付場景中,模型的性能和穩定性是對立統一的兩個方面,雖然目前深度學習在模型精準性上不斷提高,但是系統穩定性卻很難維持,系統和數據可用性問題使得深度學習算法不夠穩定的特性凸顯出來,在深度學習時代,實時性變得更有挑戰。
二是機器學習過度使用帶來的問題也亟需解決,對於業務指標的一致性,結果的可解釋性和系統的簡單性,機器學習系統在發展中一直沒能很好地解決,甚至在某些方面背道而馳,長久發展下去必然帶來各種問題。
事實上,在 PayPal 數據計算平臺構建過程中,張彭善也遇到了很多挑戰。尤其在負責線上計算系統之後,他一直關注數據和計算帶來的不穩定問題,張彭善介紹道,具體構建過程中上遊數據倉庫某個欄位的預設值發生了變化,導致相關的特徵計算出錯進而線上模型分布變化劇烈,帶來的直接的影響是某一個產品 5% 以上的交易被風控判定為拒絕交易,這極大地影響了用戶體驗。
張彭善總結道:「已經找出了問題的原因,解決這個問題很容易,但是更重要的是解決這個問題後要舉一反三,一方面是各種計算特徵和平臺都要加強此類問題的排查,另一方面特徵分布的變化要提供自動的預檢查機制。」
你想更詳細地了解 PayPal 的風險管理系統及其數據計算平臺嗎?2020 年 12 月 21 日,在 QCon 全球軟體開發大會上海站上,張彭善老師將就這一主題發表演講,跟大家分享 PayPal 在構建數據計算平臺以及處理實際平臺問題的最佳實踐和反模式案例總結,歡迎大家到大會現場共同探討前沿技術,分享創新思路和實踐經驗。
採訪嘉賓:張彭善
嘉賓介紹:PayPal 大數據研發架構師、資深數據科學家,2008 年碩士畢業於上海交通大學,2012 年加入 PayPal 風險管理平臺部門至今。在 PayPal 主要負責實施和構建了大數據計算平臺、離線機器學習平臺以及實時機器學習平臺用以支撐 PayPal 全球風險管理業務。目前除負責機器學習平臺外,正帶領團隊構建 PayPal 實時圖計算平臺用以加強風控數據維度。在大數據計算、分布式系統實現和優化、大規模機器學習和深度學習系統優化以及高可用可擴展計算平臺等領域有著豐富的實戰經驗。