深入淺出:如何從0開始學習大數據挖掘分析?

2020-12-18 人人都是產品經理

文章梳理了學習大數據挖掘分析的思路與步驟,給大家提供一些參考,希望能夠對你有所幫助。

最近有很多人諮詢,想學習大數據,但不知道怎麼入手,從哪裡開始學習,需要學習哪些東西?對於一個初學者,學習大數據挖掘分析的思路邏輯是什麼?本文就梳理了如何從0開始學習大數據挖掘分析,學習的步驟思路,可以給大家一個學習的建議。

很多人認為數據挖掘需要掌握複雜高深的算法,需要掌握技術開發,才能把數據挖掘分析做好,實際上並非這樣。如果鑽入複雜算法和技術開發,只能讓你走火入魔,越走越費勁,並且效果不大。在公司實際工作中,最好的大數據挖掘工程師一定是最熟悉和理解業務的人。對於大數據挖掘的學習心得,作者認為學習數據挖掘一定要結合實際業務背景、案例背景來學習,這樣才是以解決問題為導向的學習方法。那麼,大體上,大數據挖掘分析經典案例有以下幾種:

  1. 預測產品未來一段時間用戶是否會流失,流失情況怎麼樣;
  2. 公司做了某個促銷活動,預估活動效果怎麼樣,用戶接受度如何;
  3. 評估用戶信用度好壞;
  4. 對現有客戶市場進行細分,到底哪些客戶才是目標客群;
  5. 產品上線投放市場後,用戶轉化率如何,到底哪些運營策略最有效;
  6. 運營做了很多工作,公司資源也投了很多,怎麼提升產品投入產出比;
  7. 一些用戶購買了很多商品後,哪些商品同時被購買的機率高;
  8. 預測產品未來一年的銷量及收益。。。。

大數據挖掘要做的就是把上述類似的商業運營問題轉化為數據挖掘問題。

一、如何將商業運營問題轉化為大數據挖掘問題

那麼,問題來了,我們該如何把上述的商業運營問題轉化為數據挖掘問題?可以對數據挖掘問題進行細分,分為四類問題:分類問題、聚類問題、關聯問題、預測問題。

1、分類問題

用戶流失率、促銷活動響應、評估用戶度都屬於數據挖掘的分類問題,我們需要掌握分類的特點,知道什麼是有監督學習,掌握常見的分類方法:決策樹、貝葉斯、KNN、支持向量機、神經網絡和邏輯回歸等。

2、聚類問題

細分市場、細分客戶群體都屬於數據挖掘的聚類問題,我們要掌握聚類特點,知道無監督學習,了解常見的聚類算法,例如劃分聚類、層次聚類、密度聚類、網格聚類、基於模型聚類等。

3、關聯問題

交叉銷售問題等屬於關聯問題,關聯分析也叫購物籃分析,我們要掌握常見的關聯分析算法:Aprior算法、Carma算法,序列算法等。

4、預測問題

我們要掌握簡單線性回歸分析、多重線性回歸分析、時間序列等。

二、用何種工具實操大數據挖掘

能實現數據挖掘的工具和途徑實在太多,SPSS、SAS、Python、R等等都可以,但是我們需要掌握哪個或者說要掌握哪幾個,才算學會了數據挖掘?這需要看你所處的層次和想要進階的路徑是怎樣的。

第一層級:達到理解入門層次

了解統計學和資料庫即可。

第二層級:達到初級職場應用層次

資料庫+統計學+SPSS(也可以是SPSS代替軟體)

第三層級:達到中級職場應用層次

SAS或R

第四層級:達到數據挖掘師層次

SAS或R+Python(或其他程式語言)

三、如何利用Python學習大數據挖掘

只要能解決實際問題,用什麼工具來學習數據挖掘都是無所謂,這裡首推Python。那該如何利用Python來學習數據挖掘?需要掌握Python中的哪些知識?

1、Pandas庫的操作

Panda是數據分析特別重要的一個庫,我們要掌握以下三點:

  • pandas 分組計算;
  • pandas 索引與多重索引;

索引比較難,但是卻是非常重要的

2、numpy數值計算

numpy數據計算主要應用是在數據挖掘,對於以後的機器學習,深度學習,這也是一個必須掌握的庫,我們要掌握以下內容:

  • Numpy array理解;
  • 數組索引操作;
  • 數組計算;
  • Broadcasting(線性代數裡面的知識)

3、數據可視化-matplotlib與seaborn

python最基本的可視化工具就是matplotlib。咋一看Matplotlib與matlib有點像,要搞清楚二者的關係是什麼,這樣學習起來才會比較輕鬆。

seaborn是一個非常漂亮的可視化工具。

前面說過pandas是做數據分析的,但它也提供了一些繪圖的API。

4、數據挖掘入門

這部分是最難也是最有意思的一部分,要掌握以下幾個部分:

在這裡跟數據挖掘先不做區別

  • 代價函數的定義
  • Train/Test/Validate
  • Overfitting的定義與避免方法

5、數據挖掘算法

數據挖掘發展到現在,算法已經非常多,下面只需掌握最簡單的,最核心的,最常用的算法:

  • 最小二乘算法;
  • 梯度下降;
  • 向量化;
  • 極大似然估計;
  • Logistic Regression;
  • Decision Tree;
  • RandomForesr;
  • XGBoost;

6、數據挖掘實戰

通過機器學習裡面最著名的庫scikit-learn來進行模型的理解。

以上,就是為大家理清的大數據挖掘學習思路邏輯。可是,這還僅僅是開始,在通往數據挖掘師與數據科學家路上,還要學習文本處理與自然語言知識、Linux與Spark的知識、深度學習知識等等,我們要保持持續的興趣來學習數據挖掘。

 

作者:劉永平 ,11年以上網際網路電商、網際網路金融、大數據項目實操經驗,任職高級產品總監,產品運營專家,曾親自主導參與項目超過15個,10個以上從0到1成功項目實操經驗。微信公眾號:網際網路金融乾貨。

本文由 @劉永平 原創發布於人人都是產品經理。未經許可,禁止轉載。

免責聲明:本文是作者通過多年項目實操,積累分享的乾貨,全部屬於原創,如需轉載分享,必須註明作者和出處,如沒有註明作者和出處,會追究法律責任。

題圖來自PEXELS,基於CC0協議

相關焦點

  • Python數據分析方向——學習資源推薦
    ,因我在文章中提到學完爬蟲後,可以進一步學習數據分析,不少同學在後臺給我留言,問我有沒有適合的書推薦。《深入淺出數據分析》Michael Milton寫的《深入淺出數據分析》,我覺得很適合給我們建立一個框架思維:如何去進行數據分析。這本書還是蠻有趣味性的。實操性不強,但是對於數據分析基本步驟的理解,各種方法的運用,這本書都給到了很好的解釋。
  • 數據挖掘與數據分析
    數據挖掘和數據分析的不同之處:  1、在應用工具上,數據挖掘一般要通過自己的編程來實現需要掌握程式語言;而數據分析更多的是藉助現有的分析工具進行。  3、交叉學科方面,數據分析需要結合統計學、營銷學、心理學以及金融、政治等方面進行綜合分析;數據挖掘更多的是注重技術層面的結合以及數學和計算機的集合  數據挖掘和數據分析的相似之處:  1、數據挖掘和數據分析都是對數據進行分析、處理等操作進而得到有價值的知識。  2、都需要懂統計學,懂數據處理一些常用的方法,對數據的敏感度比較好。
  • 數據分析案例及新手如何學習數據分析
    新手應該如何學習數據分析 一些基礎性數據分析思維 數據貼近業務,從解決小問題開始 新手應該如何學習數據分析 新手應該如何培養自己的數據化思維呢在這份數據拆解結構圖中,商家不僅僅可以通過數據對比來分析項目佔比等情況,了解自身優勢和劣勢流量入口,尋找新的突破點。還可以在數據出現變動時,第一時間對比數據結構圖來定位到底是哪個分支出現了大的波動導致,從而針對性的定位到具體問題來解決問題。拆分思維已經成為了日常數據分析中很常用的一種基礎性分析方式。
  • 書單| 從入門到精通,數據分析不得不看的10本「好書」!
    1、深入淺出數據系列書籍深入淺出數據分析入門級別,比較簡單,但基本的內容涉及全面,講解的比較清晰5、數據挖掘技術:應用於市場營銷、銷售與客戶關係管理如何利用最新的數據挖掘方法和技術來解決常見的業務問題。比如提高營銷活動的響應率,識別新的客戶群並估算信用風險。
  • 如何利用數據分析技術做好輿情挖掘
    在這種大趨勢之下,如何利用數據分析技術做好輿情挖掘,是值得我們去思考的問題。隨著網際網路技術的發展和新媒體應用的創新,人們越來越傾向於通過微博、微信、抖音短視頻等社交媒體來表達自己的觀點、傳播自己的需求、分享各類信息。
  • 從零開始數據分析:一個數據分析師的數據分析流程
    挖掘算法最難的是算法調優,同一種算法在不同場景下的參數設定相同,實踐是獲得調優經驗的重要途徑。在數據挖掘階段,數據分析師要掌握數據挖掘相關能力:一是數據挖掘、統計學、數學基本原理和常識;二是熟練使用一門數據挖掘工具,Clementine、SAS或R都是可選項,如果是程序出身也可以選擇編程實現;三是需要了解常用的數據挖掘算法以及每種算法的應用場景和優劣差異點。
  • 提高數據分析能力,你不得不看的33本書|推薦收藏
    今天DataHunter數獵哥就為大家推薦一份相對完整的入門學習體系的數據分析書單。2020年,不妨從這裡開始,給自己定下一個小小的目標,開始好好學習吧! 一、數據分析入門1.《數據挖掘與數據化運營實戰:思維、方法、技巧與用應用》推薦理由:目前有關數據挖掘在數據化運營實踐領域比較全面和系統的著作,也是諸多數據挖掘書籍中為數不多的穿插大量真實的實踐應用案例和場景的著作,更是創造性地針對數據化運營中不同分析挖掘課題類型,推出一一對應的分析思路集錦和相應的分析技巧集成,為讀者提供「菜單化」實戰錦囊的著作
  • 數據挖掘學習基礎篇·數據挖掘的基本任務和建模過程
    [學習筆記1]一、數據挖掘基礎簡介數據挖掘:從大量數據(包括文本)中挖掘出隱含的、未知的、對決策有潛在價值的關係、模型和趨勢,並用這些知識和規律建立用於決策支持的模型,提供預測性決策支持的方法、工具和過程,就是數據挖掘;它利用各種分析工具在大量數據中尋找其規律和發現模型與數據之間關係的過程
  • 淺談數據挖掘與數據分析區別和聯繫?
    數據分析和數據挖掘都可以做為「玩數據」的方法論,兩者有很多的共性,也有顯著的差異。從分析的目的來看,數據分析一般是對歷史數據進行統計學上的一些分析,數據挖掘更側重於機器對未來的預測,一般應用於分類、聚類、推薦、關聯規則等。
  • 大數據開發是做什麼的?0基礎哪裡可以學習大數據?
    大數據開發是大數據職業發展的方向之一,另一方面是大數據分析。從工作內容,大數據開發主要負責大數據的大數據挖掘,數據清洗的發展,數據建模工作,主要負責處理和大數據應用,結合大數據可視化分析工程師,挖掘出價值的數據,為企業提供業務發展支持。大數據數據開發工程師偏重建設和優化系統。
  • 數據分析必看的十本好書,看完學不會你來找我|文末有福利
    在數據分析行業裡待了近十年,最近好多人想要讓我整理書單出來,幫助大家進行數據分析的入門學習。其實書不在多,而在於精,尤其是對於數據分析來說,重要的不是看了多少書,而是從書中獲得了多少數據分析知識,掌握了多少分析技能,學會了多少分析思維。
  • 數據分析和數據挖掘的區別——Smartbi
    目前,物聯網,人工智慧,大數據,數據分析的不斷發展讓各行各業積累了很多數據,特別是在現在這個網際網路的時代,數據一直在逐漸增大。但是某些數據對各自的企業是否有用,是否重要,這就需要判斷,這也就逐漸形成數據分析這個行業,但是初入數據行業的小白估計還不清楚數據分析和數據挖掘,Smartbi知道會有很多人混淆這兩者,所以現在就來為各位講講這兩者的區別。
  • 三個月從小白到數據分析師,都是靠著這份書單!
    如何快速成為數據分析師?是很多想轉行數據分析的人經常問的問題,數據分析設計多個領域的知識,內容繁雜,很多人沒有基礎的人自學起來,感覺摸不著頭腦,今天就圍繞數據分析師的成長路徑為大家整理了一個相對完整的從入門到進階的學習書單,內容較多,建議大家採取階段性學習。
  • 這篇文章把數據講透了(四):數據挖掘
    ,如何對淨菜進行加工烹飪,讓它變成有價值、有意義的美味佳餚,即數據挖掘的過程。 下面是數據挖掘中較為常見的幾個「菜系」(模型),下面我們配合模型對應的使用場景逐一闡述 總的來說,數據挖掘模型可以通過「監督模式」進行大致分類,分類為監督模型、非監督模型: 監督模型:簡單的說,就是讓機器學會舉一反三,它好比學生在學習時已知題目和答案,去學習分析如何解題一樣,下次遇到一樣的或者類似的題目就會做了
  • 想學數據分析卻不知道看什麼書,為你推薦精選書單
    它以SPSS 12.0為準,針對統計初學者和SPSS初級用戶的需求,以統計理論為主線,詳細介紹了在SPSS中的界面操作、數據管理、統計圖表製作、統計描述和常用單因素統計分析方法的原理與實際操作。其內容完全覆蓋目前國內大部分專業本科統計課程的教學範圍,並結合SPSS的強大功能作了很好的擴展。全書內容深入淺出,風格簡潔明快,是一本難得的統計理論與SPSS操作相結合的統計參考書。
  • 數據挖掘用什麼軟體_商業數據挖掘案例
    數據挖掘的知識領域涵蓋了資料庫技術、統計學知識、機器學習、可視化等多學科知識的綜合應用。Smartbi Mining平臺是一個注重於實際生產應用的數據分析預測平臺,它旨在為個人、團隊和企業所做的決策提供預測。該平臺不僅可為用戶提供直觀的流式建模、拖拽式操作和流程化、可視化的建模界面,還提供了大量的數據預處理操作。
  • 大數據挖掘常用的工具軟體有哪些
    ,由於數據挖掘在大數據行業中的重要地位,所以使用的軟體工具更加強調機器學習,常用的軟體工具就是SPSS Modeler。SPSS Modeler主要為商業挖掘提供機器學習的算法,同時,其數據預處理和結果輔助分析方面也相當方便,這一點尤其適合商業環境下的快速挖掘,但是它的處理能力並不是很強,一旦面對過大的數據規模,它就很難使用。所以,下面中琛魔方將介紹另外一些大數據軟體工具。
  • 從相關性分析到有監督學習,淺談數據挖掘分析
    相關性分析是我們做數據分析時最常用的一種方法。我們在對業務進行分析時,都會思考哪幾個環節是相互影響的,通過層層推理,找到工作中的關鍵問題,從而改進業務,提高工作效率。業務環節相互影響,在數據上的體現就是具有相關性。我們按照數據的類型來說下,在做數據分析時會碰到哪些相關性分析。
  • 《Python數據分析通關攻略.pdf 》送你!可永久閱讀
    學習用 Python 做數據分析,你得到的不僅僅是一項技能,更是一把能夠打開一個全新領域的鑰匙。  如果你想快速get數據分析技能 ,提升職場競爭力,那千萬別錯過《Python 數據分析通關攻略》這本專欄,原價58 元,現在免費領取!
  • 大數據分析:新浪微博興趣圈自動挖掘
    【IT168 技術】一.為何要在大規模SNS中挖掘興趣圈子  隨著國外的facebook、twitter以及國內的人人、新浪微博等SNS及內容分享平臺的逐步流行,如何從上億的海量用戶中自動挖掘興趣圈子成為了一個有趣也非常必要的工作。