近日，英特爾與第四範式聯合實驗室以及新加坡國立大學的最新聯合研究成果——基於英特爾傲騰持久內存的特徵工程內存資料庫，被國際頂級資料庫學術會議VLDB（Very Large Data Base）作為常規研究論文錄取。VLDB與SIGMOD並稱為資料庫業界的兩大最頂級學術會議，收錄研究機構以及工業界在資料庫領域最前沿、最頂級的研究成果。英特爾與第四範式此次合作錄取的論文以解決在線預估系統的業務需求和痛點為目的，針對如何設計底層資料庫組件來高效支撐萬億維稀疏特徵在線預估系統，以及如何基於英特爾傲騰持久內存進一步解決業務和系統設計的痛點等兩方面進行創新性設計和全面優化。
如今，越來越多的企業意識到了AI在企業經營、決策中的重要作用，AI迎來了落地應用爆發期。作為AI落地的關鍵組件，超高維在線預估系統基於實時提取的超高維特徵和預先訓練的模型對業務數據進行實時評估，因而被廣泛應用在欺詐交易識別、個性化推薦等在線實時推理業務場景中。
為了支撐高性能的實時特徵存取需求，業界誕生了諸多實時內存資料庫。然而，伴隨著業務的持續擴張和數據量的指數級增長，實時內存資料庫所存在的潛在弊端與風險使其難以高效、低成本的滿足不斷增長的業務硬實時需求：
· 高性能特徵存取對計算資源消耗巨大：為了保障線上服務的性能，特徵工程內存資料庫對內存的容量要求極高，企業通常需要配備20-30臺機器以滿足高性能計算需求所需的內存容量，總體擁有成本（TCO）居高不下。
· 服務中斷恢復所需周期長，嚴重影響企業線上服務質量：企業線上服務對服務質量的要求極高，然而通常情況下服務中斷（軟硬體錯誤宕機、例行維護等）往往需要幾個小時的恢復時間，業務長時間掉線嚴重影響線上服務質量。
· 長尾延遲：使用基於內存的特徵工程資料庫保障了線上服務的高性能，但是數據備份依然會落盤到性能較差的外存儲設備上，導致某些場景出現長尾延遲，嚴重影響服務質量。
為解決以上問題，第四範式自主研發了實時特徵工程內存資料庫FEDB（Feature Engineering Database）。作為面向AI硬實時場景的分布式特徵資料庫，FEDB所具備的高效計算、讀寫分離、高並發、高性能查詢等特性，使得特徵工程的效率和性能達到最大化。
在充分發揮FEDB價值的基礎上，第四範式引入英特爾® 傲騰™持久內存技術，以及創新性的持久化數據結構，全面支撐AI硬實時、低成本、高計算性能等需求的實現。雙方基於英特爾® 傲騰™持久內存，使用App Direct Mode，開發優化持久化數據結構，完全摒棄了FEDB原有的基於外存儲設備的數據持久化架構，不僅充分利用了持久內存大容量、持久性的特性，而且將持久化操作帶來的性能損耗降至最小。
該工作主要的創新性優化技術包括」持久化智能指針」以及利用原子操作」持久化比較並交換」（Atomic Persistent Compare-And-Swap」）的解決方案。一方面，持久化智能指針巧妙地利用了64位作業系統中64位寬指針不被使用的低4位來標記目標地址的數據是否已持久化；另一方面，針對」比較並交換操作」（CAS），傳統指令缺少持久化語義，因而無法在持久內存中直接作為帶有持久化特性的原子操作來使用的難點，雙方引入了新的」讀前持久化」（flush-before-read）概念，利用持久化智能指針，保證」持久化比較並交換」 （Persistent CAS）正確性的同時，最大化減少持久化帶來的性能損耗。
此項工作的研究成果表明，基於英特爾® 傲騰™持久內存的FEDB可有效滿足企業超高維稀疏特徵在線預估場景的需求，在保證線上推理服務超高性能的同時，大幅降低了企業AI整體投入成本，提升了線上服務的質量，進一步掃清了企業AI規模化應用的障礙。
· 英特爾® 傲騰™持久內存的加持滿足特徵工程資料庫對大內存的需求。下圖顯示了在論文實驗中使用的機器配置，在10TB數據的業務場景中，基於持久內存的FEDB的硬體成本僅為基於純內存版本的41.6%。
· 在服務中斷情況下實現數據快速恢復，服務恢復時間減少99.7%，全面降低對線上服務質量的影響。如在論文中描述的結果（見下圖，PA-FEDB為基於持久內存優化的FEDB，D-FEDB為內存版本的FEDB），在實際業務場景中，其數據恢復時間從原來的六個小時縮短至一分鐘左右。
· 基於英特爾® 傲騰™持久內存進行持久化數據結構設計的FEDB捨棄了原有純內存方案以及基於外存儲設備的備份機制，實現了長尾延遲（TP-9999）接近20%的改善（見下圖，PA-FEDB為基於持久內存優化的FEDB，D-FEDB為內存版本的FEDB ）。
未來，英特爾與第四範式聯合實驗室還將在軟硬一體技術、面向AI的高性能計算等方面展開深入合作，結合英特爾領先的軟硬體產品以及第四範式在AI領域的深厚積累、研發優勢，推動AI技術的創新和落地，加速企業規模化AI應用進程，共同引領AI產業化發展。
未經允許不得轉載：DOIT » 英特爾、第四範式聯合研究成果入選國際頂會VLDB，傲騰持久內存加持 優化萬億維特徵在線預估系統