因子分析和主成分分析的10大不同

2021-02-08 SPSS統計訓練營

每每談起主成分和因子有啥區別,樓主總是有種心裡大概明白,但就是說不清的感覺,終於看到一篇帖子,從十個方面闡述了兩者的區別,留作紀念,同時也發給大家做個參考:

1.原理不同:

主成分分析(Principal components analysis,PCA)基本原理:利用降維(線性變換)的思想,在損失很少信息的前提下把多個指標轉化為幾個不相關的綜合指標(主成分),即每個主成分都是原始變量的線性組合,且各個主成分之間互不相關,使得主成分比原始變量具有某些更優越的性能(主成分必須保留原始變量90%以上的信息),從而達到簡化系統結構,抓住問題實質的目的。

因子分析(Factor Analysis,FA)基本原理:利用降維的思想,由研究原始變量相關矩陣內部的依賴關係出發,把一些具有錯綜複雜關係的變量表示成少數的公共因子和僅對某一個變量有作用的特殊因子線性組合而成。就是要從數據中提取對變量起解釋作用的少數公共因子(因子分析是主成分的推廣,相對於主成分分析,更傾向於描述原始變量之間的相關關係)。

2.線性表示方向不同:

因子分析是把變量表示成各公因子的線性組合;主成分分析中則是把主成分表示成各變量的線性組合。

3.假設條件不同:

主成分分析:不需要有假設(assumptions);

因子分析:需要一些假設。因子分析的假設包括:各個共同因子之間不相關,特殊因子(specificfactor)之間也不相關,共同因子和特殊因子之間也不相關。 

4.求解方法不同:

(1)求解主成分的方法:

從協方差陣出發(協方差陣已知),從相關陣出發(相關陣R已知),採用的方法只有主成分法。(實際研究中,總體協方差陣與相關陣是未知的,必須通過樣本數據來估計);

注意事項:由協方差陣出發與由相關陣出發求解主成分所得結果不一致時,要恰當的選取某一種方法;

一般當變量單位相同或者變量在同一數量等級的情況下,可以直接採用協方差陣進行計算;對於度量單位不同的指標或是取值範圍彼此差異非常大的指標,應考慮將數據標準化,再由協方差陣求主成分。

實際應用中應該儘可能的避免標準化,因為在標準化的過程中會抹殺一部分原本刻畫變量之間離散程度差異的信息。此外,最理想的情況是主成分分析前的變量之間相關性高,且變量之間不存在多重共線性問題(會出現最小特徵根接近0的情況);

(2)求解因子載荷的方法:

主成分法,主軸因子法,極大似然法,最小二乘法,a因子提取法。

5.主成分和因子的變化不同:

主成分分析:當給定的協方差矩陣或者相關矩陣的特徵值唯一時,主成分一般是固定的獨特的;

因子分析:因子不是固定的,可以旋轉得到不同的因子。

6.因子數量與主成分的數量

主成分分析:主成分的數量是一定的,一般有幾個變量就有幾個主成分(只是主成分所解釋的信息量不等),實際應用時會根據碎石圖提取前幾個主要的主成分。

因子分析:因子個數需要分析者指定(SPSS和SAS根據一定的條件自動設定,只要是特徵值大於1的因子主可進入分析),指定的因子數量不同而結果也不同;

7.解釋重點不同:

主成分分析:重點在於解釋個變量的總方差;因子分析:則把重點放在解釋各變量之間的協方差。 

8.算法上的不同:

主成分分析:協方差矩陣的對角元素是變量的方差;

因子分析:所採用的協方差矩陣的對角元素不在是變量的方差,而是和變量對應的共同度(變量方差中被各因子所解釋的部分)。

9.優點不同:

(1)因子分析:

對於因子分析,可以使用旋轉技術,使得因子更好的得到解釋,因此在解釋主成分方面因子分析更佔優勢;其次因子分析不是對原有變量的取捨,而是根據原始變量的信息進行重新組合,找出影響變量的共同因子,化簡數據;

(2)主成分分析:

第一:如果僅僅想把現有的變量變成少數幾個新的變量(新的變量幾乎帶有原來所有變量的信息)來進入後續的分析,則可以使用主成分分析,不過一般情況下也可以使用因子分析;

第二:通過計算綜合主成分函數得分,對客觀經濟現象進行科學評價;

第三:它在應用上側重於信息貢獻影響力綜合評價;

第四:應用範圍廣,主成分分析不要求數據來自正態分布總體,其技術來源是矩陣運算的技術以及矩陣對角化和矩陣的譜分解技術,因而凡是涉及多維度問題,都可以應用主成分降維。

10.應用場景不同:

(1)主成分分析:

可以用於系統運營狀態做出評估,一般是將多個指標綜合成一個變量,即將多維問題降維至一維,這樣才能方便排序評估;此外還可以應用於經濟效益、經濟發展水平、經濟發展競爭力、生活水平、生活質量的評價研究上;主成分還可以用於和回歸分析相結合,進行主成分回歸分析,甚至可以利用主成分分析進行挑選變量,選擇少數變量再進行進一步的研究。一般情況下主成分用於探索性分析,很少單獨使用,用主成分來分析數據,可以讓我們對數據有一個大致的了解。

幾個常用組合:

主成分分析+判別分析,適用於變量多而記錄數不多的情況;

主成分分析+多元回歸分析,主成分分析可以幫助判斷是否存在共線性,並用於處理共線性問題;

主成分分析+聚類分析,不過這種組合因子分析可以更好的發揮優勢;

(2)因子分析:

首先,因子分析+多元回歸分析,可以利用因子分析解決共線性問題;其次,可以利用因子分析,尋找變量之間的潛在結構;再次,因子分析+聚類分析,可以通過因子分析尋找聚類變量,從而簡化聚類變量;此外,因子分析還可以用於內在結構證實。

小兵精選自:人大經濟論壇,感謝作者「胖胖小龜寶」的乾貨分享。

歡迎關注小兵個人微信號:「datasoldier」


相關焦點

  • 主成分分析和因子分析的區別
    線性表示方向不同主成分分析是將主成分表示為原變量的線性組合,而因子分析模型是將原變量表示為公共因子和特殊因子的線性組合3. 假設條件不同主成分分析:可認為不需要假設因子分析:需要一些假設。正交因子模型需假定:各個公共因子之間不相關,特殊因子之間不相關,且公共因子和特殊因子之間也不相關。4.主成分和公共因子的數量不同主成分分析中主成分的個數和變量個數p相同,它是將一組具有相關性的變量變換為一組不相關的變量。當然在實際使用中,我們會選擇少於p個主成分。
  • 主成分分析和因子分析,傻傻分不清楚?
    因子分析是主成分分析的推廣和發展,它將具有錯綜複雜關係的變量綜合為數量較少的幾個因子,以再現原始變量與因子之間的相互關係,同時根據不同因子還可以對變量進行分類,它屬於多元分析中處理降維的一種統計方法。,直接用線性關係處理變量與主成分和因子之間的關係。
  • 聚類分析、判別分析、主成分分析、因子分析的區別與聯繫
    目的不同: 因子分析把諸多變量看成由對每一個變量都有作用的一些公共因子和僅對某一個變量有作用的特殊因子線性組合而成,因此就是要從數據中控查出對變量起解釋作用的公共因子和特殊因子以及其組合係數;主成分分析只是從空間生成的角度尋找能解釋諸多變量變異的絕大部分的幾組彼此不相關的新變量(主成分)。2.
  • 基於R語言的主成分和因子分析
    h2為主成分對每個變量的方差解釋度,u2為主成分無法解釋的比例。從上圖可知,第一主成分解釋了5個變量的62%的方差,第一和第二主成分則完全解釋了5個變量的方差。因子分析因子分析也是一種降維技術,通過降維來挖掘隱藏在數據中無法觀測的變量,這些變量可以解釋可觀察變量的相關性。因子分析與主成分分析最大的不同在於每個自變量是因子的線性組合,具體數學表達式可表示為:
  • R語言實戰(14)——主成分分析和因子分析
    因此,本章我們將學習兩種用來探索和簡化多變量複雜關係的常用方法,主成分分析和因子分析。後臺回復「R語言實戰「即可獲取二維碼加入R語言實戰學習討論群。主成分分析(PCA)是一種數據降維技巧,它能將大量相關變量轉化為一組很少的不相關變量,這些無關變量稱為主成分。
  • R 語言之數據分析高級方法「主成分分析」和「因子分析」
    本節主要總結「數據分析」的「主成分分析」和「因子分析」的思想。通過學習《 R 語言實戰 》關於這兩種方法的解釋,我們很容易理解這兩種方法其存在的意義。——降維。我們將要面對的數據實在是太大,變量實在太多,因此計算機所承受的壓力也會越來越大。信息過度複雜是多變量數據最大的挑戰之一,特別是在還要考慮變量間交互關係的時候,變量增加時交互關係的量是按階乘關係在往上漲的,所以降維在很多時候能夠起到減少大量工作量的作用,是數據分析很重要的一個思想。以上是「主成分分析」與「因子分析」聯繫,有共同的目的。
  • 主成分法因子分析的R語言實現
    主成分分析和因子分析有很多相同之處,在統計方法上又有本質的區別。主成分法是因子分析參數估計的方法之一,本文利用principal()函數對主成分法因子分析進行分步計算,作為因子分析內容的導入。本文例題取自於高惠璇《多元統計分析》,鹽泉又稱食鹽泉,是指含鹽分較多的礦泉。
  • 【數據分析】R語言實現常用的5種數據分析(主成分+因子+多維標度+判別+聚類)
    R語言多元分析系列之一:主成分分析主成分分析(principal components analysis, PCA)是一種分析、簡化數據集的技術。主成分解釋了92%的總方差。注意此結果與princomp函數結果不同,princomp函數返回的是主成分的線性組合係數,而principal函數返回原始變量與主成分之間的相關係數,這樣就和因子分析的結果意義相一致。3 旋轉主成分旋轉是在保持累積方差貢獻率不變條件下,將主成分負荷進行變換,以方便解釋。
  • 數據分析之主成分分析,spss主成分分析實例
    主成分分析方法能夠解決以上問題,主成分分析法是一種降維的統計方法,是考察多個變量間相關性一種多元統計方法。二、spss主成分分析操作流程導入數據。將已有數據整理後導入spss導入數據主成分分析操作流程。點擊分析—降維—因子分析
  • 詳細講解因子分析(主成分)
    因子分析法是指從研究指標相關矩陣內部的依賴關係出發,把一些信息重疊、具有錯綜複雜關係的變量歸結為少數幾個不相關的綜合因子的一種多元統計分析方法。基本思想是:根據相關性大小把變量分組,使得同組內的變量之間相關性較高,但不同組的變量不相關或相關性較低,每組變量代表一個基本結構—即公共因子。下面我們就來詳細講解如果做因子分析。
  • R語言實現常用的5種分析方法(主成分+因子+多維標度+判別+聚類
    它把原始數據變換到一個新的坐標系統中,使得任何數據投影的第一大方差在第一個坐標(稱為第一主成分)上,第二大方差在第二個坐標(第二主成分)上,依次類推。主成分分析經常用減少數據集的維數,同時保持數據集的對方差貢獻最大的特徵。這是通過保留低階主成分,忽略高階主成分做到的。這樣低階成分往往能夠保留住數據的最重要方面。但是在處理觀測數目小於變量數目時無法發揮作用,例如基因數據。
  • R語言實現常用的5種分析方法(主成分+因子+多維標度+判別+聚類)
    它把原始數據變換到一個新的坐標系統中,使得任何數據投影的第一大方差在第一個坐標(稱為第一主成分)上,第二大方差在第二個坐標(第二主成分)上,依次類推。主成分分析經常用減少數據集的維數,同時保持數據集的對方差貢獻最大的特徵。這是通過保留低階主成分,忽略高階主成分做到的。這樣低階成分往往能夠保留住數據的最重要方面。但是在處理觀測數目小於變量數目時無法發揮作用,例如基因數據。
  • 因子分析
    降維有線性和非線性降維,線性的降維方法有LDA、PCA及因子分析(線性降維的思想基本有些相似)等,而非線性降維方法有隨機森林、局部線性嵌入、拉普拉斯特徵映射、隨機森林等,(CFA),一種是探索性因子分析(EFA), 我們通常一般說的因子分析屬於後者,這裡大概說一下兩者的關係,有興趣的同學可自行尋找相關資料。
  • 因子分析(1)——相關概念
    但公眾號後臺留言中,有較多關鍵詞是因子分析,我就專門寫一個系列的專題來介紹因子分析。一 、首先,什麼是因子分析?因子分析是一類對數據進行降維處理的統計分析方法舉個例子來對因子分析進行通俗解釋:原來有10個變量,通過因子分析,提取出了2個因子,然而這兩個因子卻代表了原來10個變量所能體現的80%的信息。這種對數據的處理方法就是因子分析。
  • 因子分析及SPSS、Stata應用匯總
    主成分分析和因子分析是多元統計方法中關係密切的兩種方法,應用範圍十分廣泛,可以解決經濟、教育、科技、社會等領域中的綜合評價問題。
  • 關於SPSS因子分析的幾點總結
    它是一種數學變換的方法,即把給定的一組變量通過線性變換,轉換為一組不相關的變量(兩兩相關係數為0,或樣本向量彼此相互垂直的隨機變量)。在這種變換中,保持變量的總方差(方差之和)不變。同時具有最大方差,稱為第一主成分;具有次大方差,稱為第二主成分。在主成分分析中,最終確定成分是原始變量的線性組合。每個主成分都是由原有p個變量線性組合得到。
  • spss主成分怎麼進行分析?spss主成分分析法步驟
    spss 這款軟體功能非常多哦,還可以分析主成分哦,但是很多朋友不知道spss主成分怎麼進行分析?小編下面準備了spss主成分分析法詳細步驟,大家安裝 詳細步驟一步步操作就知道spss主成分怎麼進行分析?
  • 主成分回歸分析在SPSS中的實現
    今晚講「主成分回歸在SPSS中的應用」,準備好喔,要放大招了~ 分析—描述統計—描述,將需要進行標準化處理自變量選入變量框,如果要作回歸分析,則也需要將因變量選入變量框。分析——降維——因子分析,把Z標準化後的數據選入變量框,在「描述」中選中「KMO和Bartlett的球形度檢驗」,在「抽取」的「方法」中選擇「主成分」,在「輸出」中選中「未旋轉的因子解」和「碎石圖」,在「抽取」中選擇「基於特徵值大於1」(也可以選擇「因子的固定數量」,根據分析內容需要而定),在「旋轉」中選擇「最大方差法」,在「得分」中把「保存為變量」和「顯示因子得分係數矩陣」都勾選上。
  • 值得一看:因子分析實例分析_SPSSAU實用教程
    在實際生活中,不同的變量之間有著各式各樣的聯繫,如果想全面地研究一個問題,就需要搜集各方面的資料。但大量的數據就容易產生重複的信息,為了減少研究的複雜程度,這時候就可以用到主成分分析或因子分析。應用場景因子分析可以看做是優化後的主成分分析,兩種方法有很多共通的地方,但應用方面各有側重。兩種方法主要用於三種場景下分別是:信息濃縮、權重計算和綜合競爭力研究。
  • R語言主成分分析方法的運用
    因子分析 典型相關分析,三種方法的共同點主要是用來對數據降維處理的從數據中提取某些公共部分,然後對這些公共部分進行分析和處理。#R中作為主成分分析最主要的函數是princomp()函數#princomp()主成分分析   可以從相關陣或者從協方差陣做主成分分析#summary()提取主成分信息 #loadings()顯示主成分分析或因子分析中載荷的內容#predict()預測主成分的值 #screeplot()畫出主成分的碎石圖 #biplot()畫出數據關於主成分的散點圖和原坐標在主成分下的方向