數據挖掘的知識類型

2020-11-29 199IT

一、概念/類 描述

概念/類描述就是通過對某類對象關聯數據的匯總,分析和比較,用匯總的簡潔的精確的方式對此類對象的內涵進行描述,並概括這類對象的有關特徵。概念描述分為:特徵性描述和區別性描述。

特徵性描述:是指從與某類對象相關的一組數據中提取出關於這些對象的共同特徵。生成一個類的特徵性描述只涉及該類對象中所有對象的同性。。

區別性描述:描述兩個或者更多不同類對象之間的差異。生成區別性描述則涉及目標類和對比類中對象的共性。

數據特徵的輸出可以用多種形式提供:包括 餅圖,條圖,曲線,多維數據方和包括交叉表在內的多維表。結果描述也可以用泛化關係或規則(稱作特徵性規則)形式提供

例如:利用面向屬性的歸納方法(AOI),在一個商場資料庫(2000銷售)中進行屬性歸納操作,獲得了如下的歸納結果:

表2-1   AOI方法挖掘結果表格表示示意描述

區別性描述是將目標類對象的一般特性與一個或多個對比類對象的一般特性比較,這種比較必須是在具備可比性的兩個或多個類之間進行。

例如,對某校講師和副教授的特徵進行比較,可能會得到這樣一條規則: 「講師:(78%)(paper<3)and (teaching course<2)」,而 「副教授:(66%)(paper>=3)and (teaching course>=2)」; 該對比規則表示該校講師中約有四分至三的人發表論文少於三篇且主講課程不超過一門;而對比之下該校副教授中約有三分至二 的人發表論文不少於三篇且主講課程不少於一門。

二、關聯模式

關聯模式挖掘旨在從大量的數據當中發現特徵之間或者數據之間的相互依賴關係。這種存在於給定數據集中的頻繁出現的關聯模式,又稱為關聯規則。關聯可以分為簡單關聯,時序關聯,因果關聯等。這些關聯並不總是事先知道,而是通過資料庫中數據的關聯分析獲得的,其對商業決策具有重要的價值,因而關聯分析廣泛用於市場營銷,事物分析等領域。

挖掘關聯知識的一個典型應用實例就是市場購物分析。根據被放到一個購物袋的(購物)內容記錄數據而發現的不同(被購買)商品之間所存在的關聯知識無疑將會幫助商家分析顧客的購買習慣。發現常在一起被購買的商品(關聯知識)將幫助商家指定有針對性的市場策略。

比如:顧客在購買牛奶時,是否也可能同時購買麵包或會購買哪個牌子的麵包,顯然能夠回答這些問題的有關信息肯定回有效地幫助商家進行有針對性的促銷,以及進行合適的貨架商品擺放。如可以將牛奶和麵包放在相近的地方或許會促進這兩個商品的銷售。

根據關聯規則所涉及變量的多少,可以分為多維關聯規則和單維關聯規則, 通常,關聯規則具有:X=>Y的形式,即:A1^…^Am=>B1^…^Bn的規則,其中, Ai (i屬於{1,…,m}), Bj (j屬於{1,…,n})是屬性-值對。關聯規則X => Y解釋為「滿足X中條件的資料庫元組多半也滿足Y中條件」。

例如:一個數據挖掘系統可以從一個商場的銷售(交易事務處理)記錄數據中,挖掘出如下所示的關聯規則: age(X,」20-29」)∧income(X,」20K-30K」) Þbuys(X,」mp3」)[support=2%,confidence=60%]上述關聯規則表示:該商場有的顧客年齡在20歲到29歲且收入在2 萬到3萬之間,這群顧客中有60%的人購買了MP3,或者說這群顧客購買MP3的概率為六成。這一規則涉及到年齡、收入和購買三個變量(即三維),可稱為多維關聯規則。

對於一個商場經理,或許更想知道哪些商品是常被一起購買,描述這種情況的一條關聯規則可能是:Contains(X,」computer」) =>contain(X,」software」) [support=1%,confidence=60%]上述關聯規則表示:該商場1%銷售交易事物記錄中包含「computer」和 「software」兩個商品;而對於一條包含(購買)「computer」商品的交易事物記錄有60%可能也包含(購買)」software」商品。這條記錄中由於只涉及到購買事物這一個變量,所以稱為單維關聯規則。

三、分類

分類是數據挖掘中一項非常重要的任務,利用分類可以從數據集中提取描述數據類的一個函數或模型(也常稱為分類器),並把數據集中的每個對象歸結到某個已知的對象類中。從機器學習的觀點,分類技術是一種有指導(我們通常稱之為有監督)的學習,即每個訓練樣本的數據對象已經有類的標識,通過學習可以形成表達數據對象與類標識間對應的知識。從這個意義上說,數據挖掘的目標就是根據樣本數據形成的類知識並對源數據進行分類,進而也可以預測未來數據的分類。(十一城註:這裡的分類和日常生活中的分類含義有些不一樣,它是將數據映射到預先定好的群組或者類中。所以很明顯,它是有監督/指導的,即它預先定好了東西來引導別人分類。)

分類挖掘所獲的分類模型可以採用多種形式加以描述輸出,其中主要的表示方法有:分類規則(IF-THEN),決策樹(decision tree),數學公式(mathematical formulae)和神經網絡。

決策樹是一個類似於流程圖的結構,每個節點代表一個屬性上的值,每個分枝代表測試的一個輸出,樹葉代表類或者類分布。決策樹容易轉換成分類規則。

神經網絡用於分類的時候,是一組類似於神經元的處理單元,單元之間加權連接。

另外,最近有興起了一種新的方法—粗糙集(rough set)其知識表示是生產式規則。

分類通常用來預測對象的類標號。例如,銀行信貸部門可以根據一個顧客信用信息資料庫,將功課的信用等級記錄為一般或良好,然後根據挖掘得出信用良好的顧客信息特徵,應用這些特徵描述,可以有效發現優質客戶。這一分類過程主要含有兩個步驟:

(1)建立一個已知數據集類別或概念的模型。

(2)對學習所獲模型的準確率進行測試。如下圖所示

四、聚類分析

與分類技術不同,在機器學習中,聚類是一種無指導學習。也就是說,聚類分析是在預先不知道欲劃分類的情況下,根據信息相似度原則進行信息集聚的一種方法。聚類的目的是使得屬於同一類別的個體之間的差別儘可能的小,而不同類別上的個體見的差別儘可能的大。因此,聚類的意義就在於將觀察到的內容組織成類分層結構,把類似的事物組織在一起。通過聚類,人們能夠識別密集的和稀疏的區域,因而發現全局的分布模式,以及數據屬性之間的有趣的關係。(十一城註:聚類和分類的區別在於聚類是無監督學習,分類是有監督學習。聚類其實也可以理解為是一種分類,只是它這種分類)

數據聚類分析是一個正在蓬勃發展的領域。聚類技術主要是以統計方法、機器學習、神經網絡等方法為基礎。比較有代表性的聚類技術是基於幾何距離的聚類方法,如歐氏距離、曼哈坦(Manhattan)距離、明考斯基(Minkowski)距離等。

聚類分析廣泛應用於商業、生物、地理、網絡服務等多種領域。例如,聚類可以幫助市場分析人員從客戶基本庫中發現不同的客戶群,並能用不同的購買模式來刻畫不同的客戶群的特徵,如圖2-6顯示了一個城市內顧客位置的二維圖,數據點的三個簇是顯而易見的。聚類還可以從地球觀測資料庫中幫助識別具有相似土地使用情況的區域;以及可以幫助分類識別網際網路上的文檔以便進行信息發現等等。

五、預測

預測型知識(Prediction)是指由歷史的和當前的數據產生的並能推測未來數據趨勢的知識。這類知識可以被認為是以時間為關鍵屬性的關聯知識,因此上面介紹的關聯知識挖掘方法可以應用到以時間為關鍵屬性的源數據挖掘中。

前面介紹分類知識挖掘時曾經提到過:分類通常用來預測對象的類標號然而,在某些應用中,人們可能希望預測某些遺漏的或不知道的數據值,而不是類標號。當被預測的值是數值數據時,通常稱之為預測。

也就是說,預測用於預測數據對象的連續取值,如:可以構造一個分類模型來對銀行貸款進行風險評估(安全或危險);也可建立一個預測模型以利用顧客收入與職業(參數)預測其可能用於購買計算機設備的支出大小

  • 預測型知識的挖掘可以利用統計學中的回歸方法,通過歷史數據直接產生連續的對未來數據的預測值;可以藉助於經典的統計方法、神經網絡和機器學習等技術。無論如何,經典的統計學方法是挖掘預測知識的基礎。

六、時間序列

具有一個或多個時間屬性的預測應用稱為時間序列問題。時間序列是數據存在的特殊形式,序列的過去值會影響到將來值,這種影響的大小以及影響的方式可由時間序列中的趨勢周期及非平穩等行為來刻畫。

例如:系統調用日誌記錄了作業系統及其系統進程調用的時間序列,通過對正常調用序列的學習可以預測隨後發生的系統調用序列、發現異常的調用。表2-4給出了一個系統調用數據表。 這樣的數據源可以通過適當的數據整理使之成為調用序列,如表2-5,再通相應的挖掘算法達到跟蹤和分析作業系統審計數據的目的。

七、偏差檢測

  • 偏差檢測(deviation detection)就是對數據集中的偏差數據進行檢測與分析。
  • 在要處理的大量數據中,常常存在一些異常數據,它們與其它的數據的一般行為或模型不一致。這裡數據記錄就是偏差(deviation),也就是孤立點。
  • 偏差包括很多潛在的知識,如不滿足常規類的異常例子、分類中出現的反常實例、在不同時刻發生了顯著變化的某個對象或集合、觀察值與模型推測出的期望值之間有顯著差異的事例等。
  • 偏差的產生可能是某種數據錯誤造成的,也可能是數據變異所固有的結果。從數據集中檢測出這些偏差很有意義,例如在欺詐探測中,偏差可能預示著欺詐行為。

via:十一城

相關焦點

  • 數據挖掘(DataMining)概述
    1.數據挖掘的定義數據挖掘:指從大量的數據中通過算法搜索隱藏於其中信息的過程。數據挖掘在面向用戶的網際網路產品中發揮著及其重要的作用。,縮小處理範圍,提高數據挖掘的質量;數據預處理:檢查數據的完整性及一致性,消除噪聲。
  • 大數據_數據挖掘技術分類及應用
    數據豐富、知識貧乏已經成為一個典型問題。Data Mining(數據挖掘)的目的就是有效地從海量數據中提取出需要的答案,實現「數據-〉信息-〉知識-〉價值」的轉變過程。   (數據挖掘)是指用非平凡的方法從海量的數據中抽取出潛在的、有價值的知識(模型或規則)的過程。
  • 大數據中數據挖掘的基本步驟
    導讀 數據挖掘基本步驟,數據挖掘過程定義問題、建立數據挖掘庫、分析數據、準備數據、建立模型、評價模型和實施。
  • 數據挖掘常用的算法
    很多人對大數據的基本概念和特點已經有所了解,那麼我們僅僅將大數據進行獲取、存儲、檢索和共享是不夠的,怎麼樣才能在大數據中找出未知的且有價值的信息和知識呢?很多人對大數據的基本概念和特點已經有所了解,那麼我們僅僅將大數據進行獲取、存儲、檢索和共享是不夠的,怎麼樣才能在大數據中找出未知的且有價值的信息和知識呢?  知識發現(KDD)就是從大數據中識別出有效的、新穎的、潛在有用的,以及最終可理解的模式的過程。  數據挖掘是大數據知識發現(KDD)中不可缺少一部分,是大數據理論和應用中非常重要的一部分。
  • 什麼叫數據挖掘_數據挖掘技術解析
    數據挖掘(data mining)是指從大量的資料中自動搜索隱藏於其中的有著特殊關聯性的信息的過程。在全世界的計算機存儲中,存在未使用的海量數據並且它們還在快速增長,這些數據就像待挖掘的金礦,而進行數據分析的科學家、工程師、分析員的數量變化一直相對較小,這種差距稱為數據挖掘產生的主要原因。
  • 乾貨 面向大數據的時空數據挖掘
    面向大數據的時空數據挖掘的重要性  20世紀90年代中後期,數據挖掘領域的一些較成熟的技術,如關聯規則挖掘、分類、預測與聚類等被逐漸用於時間序列數據挖掘和空間結構數據挖掘,以發現與時間或空間相關的有價值的模式,並且得到了快速發展。
  • 清華178頁深度報告:一文看懂AI數據挖掘
    目前數據挖掘的主要功能包括概念描述、關聯分析、分類、聚類和偏差檢測等,用於描述對象內涵、概括對象特徵、發現數據規律、檢測異常數據等。一般來說,數據挖掘過程有五個步驟:確定挖掘目的、數據準備、進行數據挖掘、結果分析、知識的同化。
  • 解讀數據挖掘與數據科學之間鮮為人知的區別
    數據挖掘與數據科學的定義數據挖掘是一種基於大量信息分析的自動數據搜索。其目標是識別趨勢和模式,這是傳統分析技術無法做到的。複雜的數學算法用於分割數據並估計後續事件的可能性。而每個數據科學家都需要了解數據挖掘。在哪裡使用數據科學?
  • 一篇文章讓你知道什麼是大數據挖掘技術
    數據挖掘(Data Mining)是從大量的、不完全的、有噪聲的、模糊的、隨機的數據中提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。  數據挖掘對象  根據信息存儲格式,用於挖掘的對象有關係資料庫、面向對象資料庫、數據倉庫、文本數據源、多媒體資料庫、空間資料庫、時態資料庫、異質資料庫以及Internet等。  數據挖掘流程  定義問題:清晰地定義出業務問題,確定數據挖掘的目的。
  • AI時代,數據挖掘過時了嗎?—企業數據挖掘成功之道(理論篇)
    數據挖掘(Data Mining)隸屬於知識發現(KDD)的範疇,是(劃重點)基於人工智慧、機器學習、模式識別、統計學和資料庫等交叉方法,在數據中特別是大數據及海量數據中發現規律的過程,是從一個數據中提取、融合、處理信息,並將其轉換成可理解的結構數據、可視化的分析圖表、可解釋的規律結論,以進一步響應業務分析的需求。
  • 數據產品經理之數據分析與挖掘
    作為如今網際網路+過程中最火熱的關鍵詞之一,大數據越來越火,隨之而來的數據倉庫、數據安全、數據分析、數據挖掘等圍繞大數據的商業價值發掘利用相關的技術和知識越來越引起政府、企業和求職者的重視。其中,作為數據產品經理必備的專業知識之一的數據分析可以分為廣義的數據分析和狹義的數據分析,廣義的數據分析就包括狹義的數據分析和數據挖掘,人們常常提到的數據分析是指狹義的數據分析,數據挖掘和數據分析都是從數據中提取一些有價值的信息,但互相的側重點又有所不同。
  • 數據挖掘領頭人韓家煒教授:如何從無結構文本到有用的知識?
    兩個會議同為CCF B類,其區別在於前者是ACM舉辦,而後者是IEEE舉辦;此外CIKM覆蓋範圍更廣,包括了資料庫、信息檢索和數據挖掘三個領域,而ICDM則更為專注數據挖掘。現實世界中的大數據在很大程度上是非結構化的、互聯的和動態的,且以自然語言文本的形式出現,將此類龐大的非結構化數據轉換為有用的知識是一條必由之路。目前大家普遍採用勞動密集型的方法對數據進行打標籤從而提取知識,這種方法短時來看可取,但卻無法進行擴展,特別是許多企業的文本數據是高度動態且領域相關。
  • 從概念到應用,這一次終於把數據挖掘給講明白了
    目前,EHR分析側重於簡單類型的數據,如患者的血壓或某項疾病的診斷代碼。然而,很多類型更複雜的醫學數據也被收集起來,例如心電圖(ECG)和磁共振成像(MRI)或功能性磁共振成像(fMRI)的神經元圖像。儘管分析這些數據十分具有挑戰性,但其中包含了患者的重要信息。將這些數據與傳統的EHR和基因組數據集成分析是實現精準醫學所需的功能之一,旨在提供更加個性化的患者護理。
  • 韓家煒在數據挖掘上開闢的「小路」是什麼
    在這裡韓家煒提出了他們研究的三部曲;2、如何由 Network/Text Cube 到知識。韓家煒這裡簡單舉了他們之前的一些研究,可以看到Network/Text Cube 有多麼強大,這也側面反映了為什麼在挖掘數據時要先把數據結構化;3、如何從無結構文本中挖掘出結構。
  • 韓家煒Jiawei Han訪談錄(數據挖掘)
    但事實上,數據挖掘的文章可以追溯到 1989年由夏皮羅( Piatetsky-Shapiro)教授組織的第一屆知識發現研討會上。之所以我還記得這事,是因為我投了一篇稿子過去,並參加了那次研討會。當時的參會人員很少,大概只有 30人。實際上,那次研討會是附屬於當年在底特律召開的 IJCAI會議的,當時每個參會的研究者都感覺數據挖掘是條「大魚」,一個大的研究方向。
  • FineBI:數據挖掘的車,開了
    我是帆軟數據挖掘的產品經理,在FineBI的新版本5.0中,你們將看到數據挖掘功能,這是我們第一次做數據挖掘功能,自然是要廣而告之了。市場部的同事來找我,希望我來寫一篇文章宣傳一下,作為產品經理,責無旁貸嘛。傳統宣傳三段論:功能業務價值好大->我們功能做得真好->客戶給我們的評價很棒。
  • 12款實用的數據挖掘工具
    數據在當今世界意味著金錢。隨著向基於app的世界的過渡,數據呈指數增長。然而,大多數數據是非結構化的,因此需要一個過程和方法從數據中提取有用的信息,並將其轉換為可理解的和可用的形式。數據挖掘或「資料庫中的知識發現」是通過人工智慧、機器學習、統計和資料庫系統發現大數據集中的模式的過程。
  • 科學網—韓家煒:數據挖掘第一人
    如今,做數據挖掘是因為網絡數據愈來愈多,信息愈來愈豐富,且多樣化。而其中有意義的知識是什麼呢? 韓家煒說,數據—信息—知識是一個自然而然的過程,他們的研究是把其中擋路的東西從機器裡挖掘出來,這就是一個研究方向。「網絡平常是人與人的聯繫,數據挖掘可以讓人與其他東西聯繫起來,有人有物,這樣比較容易找到系統性的準確的知識。」
  • 淺議概率拓撲與數據分析挖掘的關係
    數據挖掘分析,是一種在非結構化、雜亂無章的數據中,通過一定的數學方 法,挖掘出有用信息的過程。本文旨在通過研究一些常用算法的數學原理,並運 用一系列的數學知識加以解釋,從而闡釋一種數據挖掘分析的新思路。一、拓撲學簡介拓撲學,是一門研究幾何圖形不隨形狀改變而改變的性 質的學科,只考慮物體間的位置關係而不考慮其形狀與大小。
  • Oncomine:癌基因晶片數據挖掘平臺系列介紹(一)
    Oncomine可用於比較癌症和正常組織的差異表達分析,也可以用於探索各種癌症亞型以及基於臨床和病理學的比較分析。同時還可以進行藥物敏感性、突變或甲基化引起的表達變化等方面的分析。Oncomine可進行一個或多個基因的查詢,結果可視化。數據來源和數據類型Oncomine中僅包括研究表達變化的mRNA表達譜晶片和研究拷貝數的aCGH晶片。