前言
數據挖掘領域的頻繁模式中,Apriori算法算是經典,然而該算法有如下的問題:
對資料庫多次掃描候選集數量龐大為計算候選集支持度所需負載較重
所以有了很多改進算法,DHP是其中一個基於散列優化的算法,主要用於縮小Ck的項集個數
原理
DHP算法生效於Apriori算法的剪枝步過程中。在第k次掃描時,生成每個事務的k+1項集,代入一個Hash函數中,生成一個Hash表,同時記錄每個桶中元素個數。
當生成Ck+1時,對Lk*Lk自連接產生的結果先進行代入上述Hash函數若所落的該桶的計數小於
最小支持閾值,則該元素必定不為頻繁項集,故可以過濾掉之,不放入Ck+1中由於所有具有相同Hash值的項的總個數小於最小支持閾值,如:
Hash(A,B)=4Hash(X,Y)=4
不妨假設4號桶元素個數小於最小支持閾值,則單個的(A,B)個數也必定小於最小支持閾值。故可排除
樣例詳解
假設最小支持度計數為2,即min_sup = 2並使用如下數據:
TransactionID ProductID
T1 A D E
T2 B D
T3 B D E
T4 C E
T5 C D
T6 C E
T7 A C D E
T8 C D E
第一次掃描
生成1-項目候選集C1,並統計其支持度,得到對應L1:
C1 ={{A},{B},{C},{D},{E}}L1 ={{A},{B},{C},{D},{E}}
在這次掃描的同時會對每個事務產生所有的2項集,即:
構造2項集的Hash函數,如:
hash(x,y)=(order(x)*10+ order(y))%7
order()函數返回參數的序,如本例中 order(A) = 1 , order(B) = 2 ....
將該次掃描得到的所有2項集代入Hash函數,得到對應Hash表:
將L1*L1自連接,得到:
L1 * L1 ={{A ,C},{A ,D },{A ,E},{B ,D},{B ,E},{C ,D },{C ,E},{D , E }}
對於上述結果的每個子集,代入hash(x,y)函數,並丟棄掉hash結果為2、4、5的子集(該桶的對應計數 < min_sup)得到:
C2 ={{A ,C},{A ,D },{A ,E},{B ,D },{C ,D },{C ,E},{D , E }}
相比於沒有應用Hash過濾的Apriori,可以多去除一個{B,E}項。
後續
後續步驟重複上述過程,指導不能產生頻繁項集,則終止。
總結
DHP算法作為Apriori算法的一個優化,基本過程還是與Apriori無異,但是通過建立k項集的Hash表,再生產Ck時,可以有效過濾掉非頻繁項集,從而達到壓縮Ck的目的,提高剪枝效率。
DHP算法的效率高低直接受所選用的hash函數影響,需要有一個比較好的hash函數