Smartbi解鎖「預測未來」秘笈,開啟「數據挖掘」新時代!

2020-12-14 站長之家

  各位親愛的麥粉,今天小麥有重要的事情宣布:經過研發工程師的不懈努力,Smartbi終於解鎖「預測未來」秘笈了!從此,Smartbi又多了一項技能傍身,而且這項技能堪稱「必殺技」:助您神機妙算,未卜先知!聽著是不是覺得很神奇呢?究竟是怎麼回事?且聽小麥為您細細道來...

  其實,預測未來,並不是靠什麼法術或天書,而是用科學的方法,去發現隱藏在大量數據裡面的規律,揭示數據之間的關係,從而對以後的趨勢進行判斷。問題的關鍵是:用什麼科學的方法?答案就是:數據挖掘

  小麥同時為大家準備了視頻講解:

  什麼是數據挖掘

  數據挖掘就是從大量的數據中去發現有用的信息,然後根據這些信息來輔助決策。聽起來是不是跟傳統的數據分析很像呢?實際上,數據挖掘就是智能化的數據分析,它們的目標都是一樣的。但是,又有很大的區別。

  傳統的數據分析和數據挖掘最主要的區別就是在揭示數據之間的關係上。傳統的數據分析揭示的是已知的、過去的數據關係,數據挖掘揭示的是未知的、將來的數據關係。它們採用的技術也不一樣,傳統的數據分析採用計算機技術,而數據挖掘不僅採用計算機技術,還涉及到統計學、模型算法等技術,相對來說會複雜很多。因為數據挖掘發現的是將來的信息,所以最主要就是用來:預測!預測公司未來的銷量,預測產品未來的價格等等。

  數據挖掘的流程

  數據挖掘是如何做到預測的?因為數據挖掘有一套標準的流程,可以對數據進行各種科學的處理和測試,從而發現數據本身隱藏的規律。這套流程概括起來包括業務理解、數據準備、建立模型和評估模型 4 個步驟,我們以「預測銀行零售客戶流失」這個應用場景為例進行說明:

  第 1 步:業務理解

  確定目標,明確分析需求

  預測哪些銀行零售客戶將會流失,提前做好營銷挽留。

  第 2 步:數據準備

  收集原始數據、檢驗數據質量、整合數據、格式化數據

  初步判斷客戶可能會流失的情況,如銀行卡交易量逐月下降、客戶投訴持續不斷,對跟這些情況有關的數據進行採集、格式化。

  第 3 步:建立模型

  選擇建模技術、參數調優、生成測試計劃、構建模型

  客戶是否會流失,是一個分類問題,所以選擇分類算法建立模型並進行訓練。

  第 4 步:評估模型

  對模型進行全面的評估,評估結果、重審過程

  對建立好的模型進行評估,並且要根據預測結果不斷調整模型參數,實現模型的最優化。

  整個流程最關鍵是模型的迭代優化過程,模型算法有分類算法、回歸算法、聚類算法等,每種算法類型又包含多種不同的算法,例如分類算法,就包含邏輯回歸、樸素貝葉斯、決策樹等,使用的程式語言有Java語言、Python,大家聽了是不是覺得很專業、很複雜?其實這些細節我們統統不用管,全部交給Smartbi幫我們實現就可以了!

  Smartbi Mining實現數據挖掘

  Smartbi在以前也有數據挖掘的功能,但是功能不是很完善。如今,Smartbi「數據挖掘」蝶變重生,推出獨立產品Smartbi Mining,旨在為個人、團隊和企業所做的決策提供預測性分析。

  Smartbi Mining具有流程化、可視化的建模界面,內置實用的、經典的統計挖掘算法和深度學習算法,並支持Python擴展算法,基於分布式雲計算,可以將模型發送到Smartbi統一平臺,與BI平臺完美整合。還是以預測銀行零售客戶流失為例,我們看看Smartbi Mining是怎麼實現的吧。

  1、設置數據源,把左邊對應的節點拖過來,再從右邊區域配置參數:

  2、按照這種方式,可以不斷增加新的節點並連接起來:

  3、這裡是關鍵的一步,選擇算法。我們選擇「邏輯回歸」算法,並對其進行配置:

  4、加完「評估」節點,整個流程就配置完了,接下來就是運行,並不斷調優:

  5、最後看一下預測的準確率,一般是看「加權F1 值」,這個值是綜合考慮結果的質量和完整性計算出來的,在這個例子中加權F1 值達到了84.62%,預測效果已經很不錯了:

  大家現在可以看出來,通過Smartbi Mining實現「數據挖掘」是不是很簡單呢?

  Smartbi Mining應用場景

  Smartbi Mining可廣泛應用於各個領域,包括企業運營、生產控制、市場分析、工程設計、城市規劃和科學探索等,從大量的數據中挖掘出有用的信息和知識,以更好地指導我們的工作。在這裡小麥為大家列舉幾個企業運營領域的應用場景:

  1、精準營銷

  分析客戶的屬性和消費行為,為客戶推薦最合適的產品信息,提高營銷的效果。

  2、客戶保留

  分析客戶在購買產品方面的行為變化和滿意度情況,預測可能會流失的客戶,提前做好挽留工作。

  3、銷量預測

  分析產品的歷史銷售數據,預測未來一段時間的產品銷量,為生產、庫存提前做好準備。

  4、價格預測

  收集市場上影響產品價格的各種數據進行分析,預測產品價格的發展趨勢,搶佔市場先機。

  5、信用評分

  分析客戶的基本信息和消費、還貸等記錄,對客戶信用進行評分,防範信用風險,減少損失。

  Smartbi Mining典型案例

  廣州市城市規劃勘測設計研究院採用Smartbi Mining實現時空大數據云平臺的數據挖掘部分,主要研究地理信息數據與大數據、人工智慧技術結合的方法,用於城市功能區識別,分析城市各個區域的交通熱點、消費熱點、人流狀況,為城市的科學規劃提供依據。

  1、 基於廣州POI數據,展示城市熱點區域

  在Smartbi Mining裡面,主要將廣州POI數據進行處理,然後對建築的經緯度進行聚類,以找出建築最密集的多個區域,確定為廣州的建築熱點區域。整個流程處理完成後,可以點擊數據探索,查看數據聚類的結果(散點圖):

  2、基於上海計程車數據,根據上下車點的位置,提取城市功能區(住宅區、商業區、辦公區等)

  1)上車點

  上海計程車數據,取7:30-9: 30 的數據做上車點的聚類上車點聚類。基本可以確定,該時間段出發的熱點區域,應該是住宅區。與上海地圖對照,圖示三個最大的熱點區是上海的老城區(主要集中在南京路、淮海路一帶):

  2)下車點

  上海計程車數據,取7:30-9: 30 的數據做下車點的聚類下車點聚類。基本可以確定,該時間段下車的熱點區域,應該是商業區和辦公區。與上海地圖對照,圖示幾個最大的熱點區除了南京路一帶外添加了上海南站、五角場、上海國際金融中心等地方) :

  對大規模地理信息數據,使用聚類計算,可以得到用戶感興趣的熱點區域,真實的反映了城市運行中的熱點區域是否與規劃相同,對城市規劃設計,有一定的指導意義。

  一直以來,市面上有很多的數據挖掘工具,但基本上都是國外廠商把持,操作複雜,要熟悉算法和程式語言,對數據分析者的要求很高,所以很難普及開來。如今,隨著Smartbi Mining的推出,必將開啟一個「數據挖掘」新時代!相信以其簡單易用、預測率高的產品優勢和專業的諮詢團隊,一定能夠在市場中迅速推廣,幫助各行各業的客戶挖掘數據價值,創造更多的效益,讓我們拭目以待吧!

免責聲明:「站長之家」的傳媒資訊頁面文章、圖片、音頻、視頻等稿件均為自媒體人、第三方機構發布或轉載。如稿件涉及版權等問題,請與我們聯繫刪除或處理。稿件內容僅為傳遞更多信息之目的,不代表本網觀點,亦不代表本網站贊同其觀點或證實其內容的真實性,更不對您的投資構成建議。我們不鼓勵任何形式的投資行為、購買使用行為。

相關焦點

  • 數據分析和數據挖掘的區別——Smartbi
    目前,物聯網,人工智慧,大數據,數據分析的不斷發展讓各行各業積累了很多數據,特別是在現在這個網際網路的時代,數據一直在逐漸增大。數據挖掘一般是指從大量的數據中通過算法搜索隱藏於其中信息的過程。數據挖掘通常與計算機科學有關,並通過統計、在線分析處理、情報檢索、機器學習、專家系統(依靠過去的經驗法則)和模式識別等諸多方法來實現上述目標。
  • 分析數據預測未來?數據挖掘絕不是大公司的專利
    隨著數據體積的爆發性增長,人們從數據獲取的信息也隨之增多。然而從海量數據中提取信息去預測未來,卻是件很瘋狂的工作。信息收集、存儲、管理和分析不再受技術的制約,大數據,極富挑戰地吸引著越來越多的科學家、分析師,甚至是一般企業管理者或者創新企業和個人。
  • 謝耘耕:大數據挖掘成為媒體應對挑戰的新工具
    大數據開啟了一次重大的時代轉型,就像望遠鏡能夠感受宇宙、顯微鏡觀察微生物一樣,大數據正在改變我們的生活方式以及理解世界的方式。謝耘耕以《大數據時代媒體生產和傳播的轉型與發展》為主題,就大數據時代媒體生產和傳播為什麼以及怎樣進行轉型和發展展開論述。
  • 數據挖掘與預測分析術語總結
    數據挖掘目前在各類企業和機構中蓬勃發展。因此我們製作了一份此領域常見術語總結,希望你喜歡。商業智能(Business Intelligence)分析數據、展示信息以幫助企業的執行者、管理層、其他人員進行更有根據的商業決策的應用、設施、工具、過程。流失分析(Churn Analysis/Attrition Analysis)描述哪些顧客可能停止使用公司的產品/業務,以及識別哪些顧客的流失會帶來最大損失。流失分析的結果用於為可能要流失的顧客準備新的優惠。
  • 小叮噹數據挖掘(一):初識數據挖掘
    數據在我們身邊海量式地增長,而從這些數據中提取有趣的、非平凡的、蘊涵的、先前未知的、並有潛在價值的信息或模式,便成為人們越來越關注的問題。於是,數據挖掘便在著數據爆炸時代應運而生了。認識數據挖掘,小叮噹打算從認識數據、數據預處理、挖掘頻繁模式、關聯和相關、分類和預測的聚類分析、離群點檢測這幾部分為大家全面介紹。今天我們先來初識數據挖掘。1.為什麼要進行數據挖掘?
  • 乾貨 面向大數據的時空數據挖掘
    第 1 部分早期的數據挖掘研究主要針對字符、數值型的商業數據,隨著信息技術的不斷提高以及行動裝置和網絡的廣泛使用,數據產生的速度越來越快,數據收集的頻率越來越高,數據密度的增長越來越顯著,這些因素都使得大數據問題成為一種必然的趨勢。而在大數據時代下很多商業數據都包含有時間和空間信息,比如設備,建築,機構等的管理,能量的產生,分布及預測等。
  • Smartbi、Tableau可視化分析-地圖篇
    小編在周末閒暇之餘,學習了smartbi、tableau製作今年與大家息息相關的2019肺炎疫情的地圖,迫不及待與大家分享。 話不多說,那今天就從tableau到底有幾種地圖展示先開始講起。點分布圖非常適合於顯示數據點位置的分布情況,幫助我們視覺集群。2)填充地圖 可以在tableau Desktop 中創建顯示比例或者集合數據的地圖,這些類型為面量圖或者填充地圖。面量圖最核實顯示多邊形的比例或者聚合數據。這些多邊形可能是縣、區域、州/省/市/自治區,或者是可以進行地理編碼的任何區或區域。
  • 中怡康開啟智能家電大數據時代
    與會長虹、創維、康佳、TCL、、海信、未來電視、樂視、京東方面板等彩電企業高管,紛紛展開對智能戰略的深度布局和大數據時代的思考。   長虹多媒體產業公司總經理徐明表示:現在無疑是一個充滿了機遇也充滿了險境的時代。電視肯定要做智能電視,但做成電視中的蘋果還是做成電視中的諾基亞,這個一決勝負的賽點已經到來。
  • Decide:利用數據挖掘和分析的魅力價格預測體系
    我想如果有一個網站能夠預測消費品的價格並且對這些預測提供包賠,那麼這一定會對電子商務產生革命性的影響。一家名叫Decide.com的創業公司則在這個方面進行了初步的探索,通過數據挖掘和分析的魅力,他們初步建立起了價格預測體系,並且還在今天推出了包賠計劃。我們首先來看看其是如何預測價格的。Decide.com的目的是解決兩個問題:電子產品更新速度過快,市場價格變化過快。通過解決這兩個問題,他們希望給潛在購物者提供最好的購物時機建議。
  • 數據挖掘用什麼軟體_商業數據挖掘案例
    所謂的數據挖掘其實就是在大量的的非結構化數據裡搜索可用的數據,並提取隱含在其中、人們事先不知道的、但又有潛在應用價值的過程。Smartbi數據挖掘工具揭示的是未知的、將來的數據關係。數據挖掘的知識領域涵蓋了資料庫技術、統計學知識、機器學習、可視化等多學科知識的綜合應用。Smartbi Mining平臺是一個注重於實際生產應用的數據分析預測平臺,它旨在為個人、團隊和企業所做的決策提供預測。該平臺不僅可為用戶提供直觀的流式建模、拖拽式操作和流程化、可視化的建模界面,還提供了大量的數據預處理操作。
  • 時空軌跡數據挖掘現狀簡述
    時空數據挖掘通常是指對移動對象的歷史軌跡進行挖掘或者預測。簡單地說,時空軌跡數據是來自不同感知設備的許多採樣記錄。目前可利用的數據形式主要包括城市車輛通行數據(道路監控)、傳感器搜集的數據(手機和基站的通信)、計程車軌跡數據(GPS採樣)。
  • 迎接未來教育,開啟中國智能教育新時代
    作為目前國內最有影響力和唯一以引領「未來教育」發展趨勢為品牌特色的綜合性主題展會和高端學術論壇,本屆主題設定為「迎接未來教育,開啟中國智能教育新時代」。  一、第三屆未來教育高峰論壇,聚焦開啟智能教育由中國信息協會教育分會主辦的未來教育高峰論壇,已成為國內教育領域引領和探討未來教育發展方向的最有影響力的行業品牌高峰論壇之一。
  • 每日互動數治十載 開啟未來數據智人新時空
    新基建跟我們的生活有什麼關係?未來城市真的可以實現「雲上治理」嗎?2020年的新冠疫情讓社會各界開始重新思考大數據與城市治理的關係。人們期待著讓城市變得更加「聰明」,大數據、雲計算、人工智慧等手段也被更多地應用到城市現代化治理的進程中。每日互動(股票代碼:300766)作為國內領先的數據智能服務商也積極參與其中,用數據的力量讓城市管理決策更「科學」。
  • 大數據的價值挖掘與聯想研究院的探索實踐
    本文結合聯想公司在這方面的探索與實踐,論述大數據蘊含的價值和提取方法,並介紹在保護用戶數據隱私的前提下如何對數據進行挖掘利用。 1. 數據的分析與預測 人類對於數據的應用自古有之。隨著人類社會從工業時代進入資訊時代和智能時代,數據的生產和消費量持續擴大,現代意義上的數據分析和預測在不斷發展和進化。
  • 星河集團:用產業大數據開啟智能產業網際網路時代
    當BAT等網際網路公司們正在利用消費大數據的優勢,在人與人、信息、貨、消費場景等方面在消費網際網路領域相互廝殺時,星河集團已在著手利用其積累10年的產業大數據來重構傳統產業的業務鏈和產業鏈,開啟一個全新的智能決策的產業網際網路時代。公開信息顯示:網際網路已從用戶規模的橫向擴展轉化為對產業的垂直縱深影響。
  • 一文理清:大數據、數據挖掘、數據分析、數理統計之間的關係
    數理統計與數據挖掘的區別與聯繫四、大數據時代企業該如何布局,個人該如何選擇?在大數據時代,大數據技術需要解決兩個難題:一是海量數據在多臺機器上的存儲;二是解決如何對多臺機器上存儲的數據進行計算分析。大數據技術的基本原理還是聚類、分類、主題推薦等數據挖掘算法的內容,在基於大數據的數據分析方法中,有很多方法都是對原有算法的改進,將原來單機實現的算法改成多臺機器的分布式計算。簡單地說,基於大數據的數據分析方法就是分析工具不一樣的數據分析方法,有的也加入了數理統計的思想。
  • AI產品經理,如何面對數據挖掘?
    (2)序列發現需求,是指確定數據之間與時間相關的序列模式,利用該模式可對未來的相關行為進行預測。例子:數據挖掘中序列發現的需求分析應用比如顧客購買行為分析、網絡訪問模式的分析。對一家完善的大型零售企業來說,往往擁有固定會員。會員可以購買較低價格商品,享受更加優惠的售後服務等等。
  • 數據分析利器:Smartbi V8.5全自助數據化運營分析平臺
    這一趨勢非常明顯,根據Gartner的預測,到 2019 年,具有自助服務能力的商業用戶的分析產出甚至將超過專業數據科學家。」自助BI是未來一個重要方向。Smartbi工具與其他新一代可視化工具的區別第一個就是語義模型,對於大型組織來說業務用戶無法理解數據,由IT設置好,直接面向業務架設一個邏輯模型,屏蔽底層物理數據結構的複雜性,展現給業務分析師的是一個簡單的業務數據(業務主題),同時可以做權限控制。
  • 數據挖掘要用什麼軟體呢?商業數據挖掘案例
    所謂的數據挖掘其實就是在大量的的非結構化數據裡搜索可用的數據,並提取隱含在其中、人們事先不知道的、但又有潛在應用價值的過程。 Smartbi數據挖掘工具揭示的是未知的、將來的數據關係。數據挖掘的知識領域涵蓋了資料庫技術、統計學知識、機器學習、可視化等多學科知識的綜合應用。
  • 德州儀器TI:5G無線應用以三種方式解鎖2019新技術時代
    5G無線應用以三種方式解鎖2019新技術時代 試想下這樣的場景:當災難發生後,官方發射小型但功能強大的蜂窩行動裝置無人機,從而使網絡再次運行。在未來,更多的可能性將會被實現:移動3D視頻和超高清解析度的增強現實; 具備嵌入式傳感器的基礎設施將幫助城市滿足居民需求;機器人汽車和無人機將不斷相互通信,以提高性能和效率;機器人輔助手術和先進的遠程醫療將成為護理患者的常態。