【IT168 編譯】資訊時代，能吃到蟲子的已不再是早起的鳥兒，而是那些數據驅動的、早起的鳥兒。像百度、阿里巴巴和騰訊這樣的大公司，都在不斷囤積數據，因為他們都知道數據是金燦燦的寶貝。
但僅僅囤積數據是不夠的。你需要熟練地篩選、全盤了解數據湖中溢出的所有數據。只有這樣，你才能通過這些數據，做出更好的決策，打造更智能的產品。
然而，在擁擠不堪、投資過剩的數據分析市場上，供應商為了賣出自己的產品不斷放出煙霧彈，想要穿過煙霧看到「真相」，卻是一大難事。以下五點，是未來數據分析市場可能的走向，僅供參考。
1、BI遷移到應用程式
在過去的20年裡，我們見證了一場革命。不是一夜之間發生的那種，而是逐漸發生的，緩慢的，可能很多人沒有注意到。BI(商業智能)正走向死亡。或者更準確地說，BI正在進行著徹頭徹尾的改變。
每年，用戶都在通過他們使用的應用程式——比如HubSpot、SalesForce和MailChimp——進行更多的分析。分析正在遷移到業務應用程式的結構中。
從本質上講，業務應用程式正在獲取它們自己的分析接口，根據它們的數據和用例進行定製。這種集成和自定義使得其分析接口比深奧的、複雜的通用BI更容易被用戶接受。隨著B2B應用程式開始在數據智能產品上展開競爭，這一趨勢將會繼續下去。
2、編譯器超越分析引擎
歷史上，數據分析有兩種提供方式：通過預計算，或者通過分析引擎。
分析引擎，如Spark和Tableau的數據引擎，負責執行所需的計算，以回答關於組織數據的關鍵問題。
現在，這個領域出現了一個新的玩家：分析編譯器。分析編譯器可以靈活地將計算部署到不同的基礎設施。分析編譯器的例子包括現在大火的TensorFlow，它可以將計算部署到GPU或CPU等。
編譯器比分析引擎靈活得多，因為它們可以進行數據處理，而且我們可以將它們進行轉換，以在不同的基礎設施中運行(在資料庫中，在Spark中，在GPU中，等等)。在理論上，編譯器也可以生成比任何解釋引擎都快的工作流。
甚至Spark也一直在獲取基本的編譯工具，這無疑是編譯器在此駐留的標誌，並且可能最終會使遺留的純計算引擎相形見絀。
3、ETL多樣化
很少有一個術語能比「ETL」(提取轉換加載)更讓大佬們頭疼。ETL堆積了大量不完整的、重複的、不相關的數據，像汙水一樣被排放出來，清理乾淨，然後被推到一個可以處理這些數據的地方。
ETL是現代、敏捷和數據驅動等關鍵詞的對立面。ETL意味著不斷重複的數據，無數的延遲，以及高額的費用。它無法回答重要的問題。
為了讓ETL變得更加靈活，行業內已經開發出了各種各樣的替代方案。這些解決方案包括高級的ETL工具——使ETL更容易進入Hadoop或數據倉庫，到流ETL解決方案，再到利用機器學習交叉引用和刪除重複數據的ETL解決方案。
另一個非常有趣的技術類別包括像Dremio和Xcalar這樣的工具，它們將ETL重構為提取-加載-轉換(或ELT)。本質上，它們將轉換的步驟推到最後，因此不必再預先進行提取、加載或轉換。
從歷史上看，ELT的速度很慢，但這些下一代解決方案通過動態調整、索引和緩存常見的轉換來快速地進行拼寫。這提供了傳統ETL的性能，同時具有後期轉換的靈活性。
不管你如何看待它，ETL正在經歷著戲劇性的演變，這將使組織能夠比以往更容易地快速地利用數據，而無需耗費大量時間和昂貴的前期投入。
4、數據倉庫開放
大型組織的問題多數在於無法從專注於精心設計的分析。大多數公司甚至無法合計和計算他們有多少數據。不是因為計數很困難，而是因為一個大型組織中的數據一般分散在萬個數據豎井中。
不過由於雲(包括API革命和管理數據解決方案)和ETL最近的進展，使得組織以結構化的方式訪問更多的數據變得比以往任何時候都要容易。
下一代數據管理解決方案將在利用這些技術進步中發揮重要作用，使所有的組織的數據能夠及時地對所有合適的人進行分析。
5、機器學習落到實處
機器學習剛剛度過了炒作的高峰期，或者至少我們可以希望是如此。機器學習是不完美和無罪的致命組合。當機器學習出錯的時候(通常也是不可避免的)，我們不知道該去責怪誰。
這對於任何一種關鍵任務分析都是絕對不能容忍的。
因此，距離我們把人工智慧訓練成社會最聰明的人，吸收全部知識，仍是非常遙遠的，遠超過5年。
在此之前，我們很可能會看到機器學習專注於某些場景的應用。例如結構化數據集的黑盒預測分析;人類輔助技術可以讓人們看到不同數據源之間的連接，糾正常見錯誤，發現異常現象。這些並不是科幻小說中所提到的超級大腦，但它們會讓用戶更容易找到問題，並幫助引導他們找到正確的答案。
雖然分析是一個巨大的市場，充斥著令人困惑的營銷言論，但一些大的趨勢也可以幫助企業決定在哪裡進行投入。
未來5年，這些大的趨勢可能會影響到組織使用的工具，得到融資的數據分析型創業公司，以及我們在整個數據分析領域中看到的創新，從數據倉庫到可視化分析前端。在需要弄清楚數據架構和技術堆棧應該是什麼樣子的時候，要根據自身實際情況，做出明智的決策。