作者：算法&健兮，阿里巴巴數據技術及產品部技術專家
生意參謀介紹
生意參謀是阿里官方打造的全渠道、全鏈路、一站式數據平臺，致力於為用戶提供經營分析、市場洞察、客群洞察等多樣化數據服務，幫助用戶全面提升商業決策效率。自2011年誕生以來，生意參謀服務過的用戶已逾3000萬，覆蓋了線上線下零售商（淘寶天貓）、品牌商（零售通）、智慧門店、內貿批發商（1688）、內容創作者（微淘等）、東南亞國際商家（LAZADA）等多個業態商業用戶。 目前，淘寶天貓商家中，月有交易的商家，99%以上都在使用生意參謀。生意參謀經過將近十年的發展，已經支撐了99%淘寶天貓商家的決策運營，在如此龐大的商家群體下，每個商家對於數據的訴求都不一樣 對於中大型商家，有自己的數據分析師團隊，更希望自己對原始數據進行加工與展示， 對於中小型商家希望可以提供更加方便的一鍵式服務 對於一些品牌商，希望看到長達數年的歷史數據分析多種多樣的分析需求對生意參謀的架構提出了巨大的挑戰，藉助於雲原生數據倉庫AnalyticDB MySQL的強大能力，生意參謀與QuickBI團隊強強聯合，打造了「商家自助分析」產品，幫助商家定製自己的數據報表，滿足商家對自身各維度數據進行隨心所欲的分析需求，幫助千萬商家實現「數據價值在線化」。
商家分析的業務挑戰
1）海量數據高並發複雜查詢
生意參謀服務幾百萬商家，數據量是非常龐大的，如果存儲3年數據，僅一個商品維度數據表，就能到千億條記錄。但是我們要滿足商家對這些數據表，進行任意維度的數據查詢、篩選、關聯、聚合、計算、排序等操作，並且要求毫秒級返回。例雙十一期間我們的複雜查詢QPS超過300，在這種高並發低延時場景下對資料庫帶來巨大的挑戰。
2）在線查詢和批處理混合負載
為了降低成本，生意參謀「商家自助分析」產品不能將所有的商家數據全部寫入分析庫，需要對訂購的商家需要在商家當天回補所有的歷史數據，要求單商家6000W數據分鐘級完成商家歷史數據回補。在數據回補時，高並發查詢與寫入要求同時運行，相互不影響，對分析庫的混合負載要求很高。
3）任意維度的靈活報表能力
生意參謀「商家自助分析」產品的根本需求是滿足商家各式各樣的分析需求，需要為商家可以提供靈活配置報表的能力，這時候一個成熟的BI解決方案必不可少。
4）商家數據安全性要求高
商家對於自身的數據安全要求非常高，生意參謀「商家自助分析」產品既要讓商家能夠隨心所欲的進行數據分析，又要避免數據的洩露，也要防止數據被爬取、防止水平越權洩露。
全套成熟BI方案 - AnalyticDB + QuickBI
生意參謀選擇了 AnalyticDB（以下簡稱ADB） + QuickBI 一整套成熟的BI解決方案。
QuickBI介紹
Quick BI是阿里雲成熟的自助分析報表平臺，是國內首個且唯一入選Gartner魔力象限的BI產品。產品經過幾年的沉澱已無縫對接各類雲上資料庫和自建資料庫，0代碼滑鼠拖拽式操作，讓業務用戶也能一鍵輕鬆實現海量數據可視化分析。並且QuickBI提供彈內部署能力，可以通過生意參謀為入口，對商家提供統一的服務。讓商家在產品心智上感受到，一個數據分析平臺，沒有考慮系統間切換的問題。真正實現一個平臺，滿足用戶數據分析需求。
AnalyticDB雲原生數據倉庫
AnalyticDB是阿里雲自研的雲原生數倉庫，全面兼容MySQL語法，為分析而生，擁有出色的分析性能。
1）MySQL兼容，好用是資料庫價值真正的體現，AnalyticDB高度兼容MySQL，基本無需修改代碼即可像使用MySQL一樣使用AnalyticDB，遷移使用成本極低。對於MySQL社區周邊工具也可以無縫接入，因此和QuickBI的配合就像使用MySQL一樣簡單。2）高性能高並發，AnalyticDB為分析而生，擁有業界最快的查詢性能，通過行列混存、自適應索引，結合向量化的分布式執行引擎實現大部分查詢複雜可以在毫秒級完成；同時通過在線化的調度和雲原生的彈性擴展能力，可以支持大量商家的在線並發訪問。3）混合負載，在存儲計算分離的架構下，AnalyticDB可以混合計算負載能力，在經典的在線（online）/交互式（interactive）查詢執行模式之外，也支持了離線/批處理(batch)查詢執行模式。因此針對在大量商家高並發在線查詢的同時，同時可以進行並發的數據寫入、加載和回補，實現業務一套系統的混合負載處理。 4）安全可靠，AnalyticDB基於雲原生的VPC網絡構建，同時對數據有庫、表、列等多級權限保護，同時還支持通過內容數據的加解密，可以滿足商家數據的安全性要求。總結下，AnalyticDB可以從任意維度進行查詢、篩選、聚合、計算、排序等操作，性能支持亞秒返回，並且支持實時寫入，支持大型ETL與高並發查詢混合負載等特性非常契合商家自助分析業務。並且，QuickBI 完美支持AnalyticDB作為數據源頭，與商家自助分析業務完美契合。
生意參謀業務架構
生意參謀自助服務的本質是一套安全可靠，穩定靈活的BI方案。在底層，生意參謀將訂購商家數據存放在AnalyticDB中，依託於AnalyticDB+QuickBI的生態，建立商家項目空間，同時打通生意參謀與QuickBI權限體系，支撐起商家自助分析需求。
數據同步
生意參謀自助分析，藉助AnalyticDB支持高吞吐實時寫入的特性，通過訂購當天回補歷史數據的方式，解決了客戶對於長周期數據的分析訴求。對於新訂閱用戶，需要將歷史數據按天級別增量同步至AnalyticDB中，這個是系統設計的一個難點。藉助AnalyticDB實時數據寫入的能力，我們設計了自助分析-數據增量同步方案，有效解決了歷史數據的增量同步。
數據安全
生意參謀整體數據架構是全部用戶共享AnalyticDB存儲，不同商家是通過商家ID來區分，針對此種特殊場景，QuickBI的數據集支持了邏輯隔離，商家開通時，通過後臺接口初始化好商家數據集，注入商家ID參數，即使用戶編輯模擬也無法替換掉，保證了商家數據的安全性。同時通過行級權限，將不同版本的付費商家查看指標做了管控，確保了產品的利益不受損害。
業務價值
所有自助分析自定義配置的報表，都可以選擇配置到生意參謀首頁，這樣商家的所有子帳號，都能在生意參謀首頁看到，真正達到了用戶定製生意參謀頁面能力的效果。其中我們通過店鋪經營分析，店鋪流量分析，單品深度洞察報告等BI模板，吸引了大量商家自助配置自己的BI報表。
未來展望
未來我們希望可以繼續在數據價值上的探索，希望持續與AnalyticDB + QuickBI保持共建，推動數據價值在線化，讓商家數據分析更加簡單高效。
業務資源隔離
在 AnalyticDB MySQL版新推出的彈性形態下實現了資源組功能，通過新建資源組可以從現有實例劃分出部分計算節點，這些計算節點資源只歸屬該資源組。用戶可將資料庫帳號綁定到不同的資源組，SQL查詢時根據綁定關係自動路由至對應的資源組執行，滿足用戶實現內部多租戶隔離需求。我們對於不同的大商家，可以進行隔離，確保大商家業務的穩定性，提供更好的業務體驗。
查詢負載管理
在自助BI的系統中一直存在一個痛點，單個用戶配置了不合理的報表，讀取超大量的數據，進行超出預期的計算，影響其他商家的報表展示，為此我們在系統中需要做諸多限制，比如用戶報表只能基於單表，不可以做多表聯合分析，這樣大大限制了商家報表的靈活性。為此我們期望AnalyticDB提負載管理的能力，通過我們指定查詢資源消耗，讀取數據消耗等維度限制，來對查詢進行 KILL，切換資源組等行為，保障資料庫穩定性。
智能化診斷
需要做好監控和邊界問題的發現機制，在出現問題時能夠快速定位。期望能夠充分利用AnalyticDB的監控能力，在出現問題前第一時間預警，規避問題的發生。為此，AnalyticDB將提供全方位、多維度以及準實時的實例運行狀況洞察能力，通過對實例內部的各類運行日誌和時序指標進行算法建模，提供出問題前準確預測、出問題時及時告警、處理問題時精準定位的能力，確保不影響用戶上層業務。