在大數據時代中,數據挖掘技術的地位是無可比擬的,近年來一直是人工智慧和資料庫領域研究的熱點問題。經過近二十年左右的發展,數據挖掘逐漸形成了分類、聚類、模式挖掘、規則提取等一套基本的理論基礎。
什麼是數據挖掘
數據挖掘(Data Mining,DM)就是從大量不完全的、有噪聲的、模糊隨機的實際應用數據中,提取出先前未知的、隱藏的潛在有用信息。又稱資料庫中的知識發現(Knowledge Discover in Database,KDD),與其相近的同義詞還有數據分析、數據融合等。
數據挖掘是一種決策支持過程,即其主要目標是從數據中挖取隱藏的信息,主要基於人工智慧、機器學習、模式識別、資料庫、數據可視化等技術,高度自動化地對數據進行分析歸納推理,從而從中挖掘出潛在的規律模式,幫助決策者根據分析結果做出正確的決策,進行風險規避。
數據挖掘的發展現狀
大數據時代對數據挖掘而言,既是機遇也是挑戰。數據挖掘通過將多個範疇的理論和技術融合在一起,分析數據,建立適當的體系,不斷地優化,提高決策的準確性,從而更利於掌握並順應市場的多端變化。
數據挖掘作為最常用的數據分析手段得到了各個領域的認可,目前國內外學者主要研究數據挖掘中的分類、優化、識別、預測等技術在眾多領域中的應用。
數據挖掘的常用技術
數據挖掘的主要方法有預測模型方法、數據分割方法、關聯分析法和偏離分析法等。解決實際問題時,將已知的資料庫蘊含的複雜信息轉換成數學的語言,建立數學模型,運用相應的處理方法結果會更加有效。
在數據挖掘的主要方法中,涉及到的常用技術有人工神經網絡、決策樹、遺傳算法、K最近鄰分類算法等。
1.人工神經網絡
人工神經網絡簡稱為神經網絡,或連接模型,是對人腦或自然神經網絡若干基本特性的抽象和模擬,其目的在於模擬大腦的某些機理與機制,實現某個方面的功能。目前在神經網絡研究方法上已形成多個流派,最富有成果的研究工作包括:多層網絡BP算法,Hopfield網絡模型,自適應共振理論,自組織特徵映射理論等。
2.決策樹
每個決策或事件(即自然狀態)都可能引出兩個或多個事件,導致不同的結果,把這種決策分支畫成圖形很像一棵樹的枝幹,故稱決策樹。決策樹一般都是自上而下的來生成的。決策樹法是隨機決策模型中最常見、最普及的一種決策模式和方法。此方法,有效地控制了決策帶來的風險。
3.遺傳算法
遺傳算法是一類借鑑生物界的進化規律(適者生存,優勝劣汰遺傳機制)演化而來的隨機化搜索方法。其主要特點是直接對結構對象進行操作,不存在求導和函數連續性的限定;具有內在的隱並行性和更好的全局尋優能力;採用概率化的尋優方法,能自動獲取和指導優化的搜索空間,自適應地調整搜索方向,不需要確定的規則。
4.K最近鄰分類算法
K最近鄰分類算法是數據挖掘分類技術中最簡單的方法之一。所謂K最近鄰,就是K個最近的鄰居的意思,該算法的核心思想是如果一個樣本在特徵空間中的K個最相鄰的樣本中的大多數屬於某一個類別,則該樣本也屬於這個類別,並具有這個類別上樣本的特性。K最近鄰分類算法不僅可以用於分類,還可以用於回歸。通過找出一個樣本的K個最近鄰居,將這些鄰居的屬性的平均值賦給該樣本,就可以得到該樣本的屬性。
數據挖掘的流程
數據挖掘的過程可以簡單概括為以下步驟:
圖:數據挖掘的流程,來源於網絡
數據挖掘在企業危機管理中的應用
數據挖掘已經廣泛地應用到生活中各種各樣的領域中,無論在軟體開發、醫療衛生方面,還是在金融、教育等方面都可以隨處看到數據挖掘的影子。在企業危機管理中,數據挖掘具體可以應用到以下幾個方面:
1.利用Web頁挖掘搜集外部環境信息
通過儘可能收集與企業發展有關的信息,集中精力分析處理其中對企業發展有重大或潛在重大影響的外部信息,抓住轉瞬即逝的市場機遇。
2.利用數據挖掘分析企業經營信息
利用企業數據倉庫中的海量數據,根據分析結果找出企業經營過程中出現的各種問題和可能引起危機的先兆。
3.利用數據挖掘識別、分析和預防危機
通過對企業風險進行預測分類,並對每一種風險、威脅和危險的大小及發生概率進行評價,建立各類風險管理的優先次序,做好危機預防工作。
4.利用數據挖掘技術改善客戶關係管理
利用營銷中心、新聞組等方式收集客戶的投訴和意見,並對這些投訴和意見進行分析,以發現客戶關係管理中存在的問題。
5.利用數據挖掘進行信用風險分析和欺詐甄別
使用企業信息系統中資料庫的數據,利用數據挖掘中的變化和偏差分析技術進行客戶信用風險分析和欺詐行為預測。
企業應加強危機管理工作,利用先進的數據挖掘技術加強企業的危機管理工作,以便準確及時地獲取所需要的危機信息,迅速捕捉到企業可能發生危機的一切事件和徵兆,進而採取有效的規避措施。
企通查—企業風控平臺基於數據採集、特徵提取、信息關聯、機器學習和深度學習算法模型、NLP文本分析等先進技術,清晰構建企業全維度動態畫像,通過企業風控指數、企業信用指數、企業活力指數三大指數模型體系和基於企業基本能力、創新能力、經營能力、核心能力、財務能力和風險能力六大方面的大數據風控體系,實現對企業供應商和客戶的全流程主動感知、重點監控、變動提醒和風險預警。
如您對我們感興趣或有合作意向,歡迎應用商店、微信公眾號搜索:企通查
粉絲福利:
關注公眾號「企通查」,對話框回復關鍵詞「社群」即可獲得企通查資源分享群進群方式,群內每天免費分享一篇時下熱點行業報告,歡迎入群!