深入淺出:如何從0開始學習大數據挖掘分析?

2020-12-04 人人都是..

文章梳理了學習大數據挖掘分析的思路與步驟，給大家提供一些參考，希望能夠對你有所幫助。

最近有很多人諮詢，想學習大數據，但不知道怎麼入手，從哪裡開始學習，需要學習哪些東西？對於一個初學者，學習大數據挖掘分析的思路邏輯是什麼？本文就梳理了如何從0開始學習大數據挖掘分析，學習的步驟思路，可以給大家一個學習的建議。

很多人認為數據挖掘需要掌握複雜高深的算法，需要掌握技術開發，才能把數據挖掘分析做好，實際上並非這樣。如果鑽入複雜算法和技術開發，只能讓你走火入魔，越走越費勁，並且效果不大。在公司實際工作中，最好的大數據挖掘工程師一定是最熟悉和理解業務的人。對於大數據挖掘的學習心得，作者認為學習數據挖掘一定要結合實際業務背景、案例背景來學習，這樣才是以解決問題為導向的學習方法。那麼，大體上，大數據挖掘分析經典案例有以下幾種：

  1. 預測產品未來一段時間用戶是否會流失，流失情況怎麼樣；
  2. 公司做了某個促銷活動，預估活動效果怎麼樣，用戶接受度如何；
  3. 評估用戶信用度好壞；
  4. 對現有客戶市場進行細分，到底哪些客戶才是目標客群；
  5. 產品上線投放市場後，用戶轉化率如何，到底哪些運營策略最有效；
  6. 運營做了很多工作，公司資源也投了很多，怎麼提升產品投入產出比；
  7. 一些用戶購買了很多商品後，哪些商品同時被購買的機率高；
  8. 預測產品未來一年的銷量及收益。。。。

大數據挖掘要做的就是把上述類似的商業運營問題轉化為數據挖掘問題。

一、如何將商業運營問題轉化為大數據挖掘問題

那麼，問題來了，我們該如何把上述的商業運營問題轉化為數據挖掘問題?可以對數據挖掘問題進行細分，分為四類問題：分類問題、聚類問題、關聯問題、預測問題。

1、分類問題

用戶流失率、促銷活動響應、評估用戶度都屬於數據挖掘的分類問題，我們需要掌握分類的特點，知道什麼是有監督學習，掌握常見的分類方法:決策樹、貝葉斯、KNN、支持向量機、神經網絡和邏輯回歸等。

2、聚類問題

細分市場、細分客戶群體都屬於數據挖掘的聚類問題，我們要掌握聚類特點，知道無監督學習，了解常見的聚類算法，例如劃分聚類、層次聚類、密度聚類、網格聚類、基於模型聚類等。

3、關聯問題

交叉銷售問題等屬於關聯問題，關聯分析也叫購物籃分析，我們要掌握常見的關聯分析算法：Aprior算法、Carma算法，序列算法等。

4、預測問題

我們要掌握簡單線性回歸分析、多重線性回歸分析、時間序列等。

二、用何種工具實操大數據挖掘

能實現數據挖掘的工具和途徑實在太多，SPSS、SAS、Python、R等等都可以，但是我們需要掌握哪個或者說要掌握哪幾個，才算學會了數據挖掘?這需要看你所處的層次和想要進階的路徑是怎樣的。

第一層級：達到理解入門層次

了解統計學和資料庫即可。

第二層級：達到初級職場應用層次

資料庫+統計學+SPSS(也可以是SPSS代替軟體)

第三層級：達到中級職場應用層次

SAS或R

第四層級：達到數據挖掘師層次

SAS或R+Python(或其他程式語言)

三、如何利用Python學習大數據挖掘

只要能解決實際問題，用什麼工具來學習數據挖掘都是無所謂，這裡首推Python。那該如何利用Python來學習數據挖掘？需要掌握Python中的哪些知識?

1、Pandas庫的操作

Panda是數據分析特別重要的一個庫，我們要掌握以下三點：

  • pandas 分組計算;
  • pandas 索引與多重索引;

索引比較難，但是卻是非常重要的

2、numpy數值計算

numpy數據計算主要應用是在數據挖掘，對於以後的機器學習，深度學習，這也是一個必須掌握的庫，我們要掌握以下內容：

  • Numpy array理解；
  • 數組索引操作；
  • 數組計算；
  • Broadcasting(線性代數裡面的知識)

3、數據可視化-matplotlib與seaborn

python最基本的可視化工具就是matplotlib。咋一看Matplotlib與matlib有點像，要搞清楚二者的關係是什麼，這樣學習起來才會比較輕鬆。

seaborn是一個非常漂亮的可視化工具。

前面說過pandas是做數據分析的，但它也提供了一些繪圖的API。

4、數據挖掘入門

這部分是最難也是最有意思的一部分，要掌握以下幾個部分：

在這裡跟數據挖掘先不做區別

  • 代價函數的定義
  • Train/Test/Validate
  • Overfitting的定義與避免方法

5、數據挖掘算法

數據挖掘發展到現在，算法已經非常多，下面只需掌握最簡單的，最核心的，最常用的算法：

  • 最小二乘算法；
  • 梯度下降；
  • 向量化；
  • 極大似然估計；
  • Logistic Regression；
  • Decision Tree；
  • RandomForesr；
  • XGBoost；

6、數據挖掘實戰

通過機器學習裡面最著名的庫scikit-learn來進行模型的理解。

以上，就是為大家理清的大數據挖掘學習思路邏輯。可是，這還僅僅是開始，在通往數據挖掘師與數據科學家路上，還要學習文本處理與自然語言知識、Linux與Spark的知識、深度學習知識等等，我們要保持持續的興趣來學習數據挖掘。

 

作者：劉永平 ，11年以上網際網路電商、網際網路金融、大數據項目實操經驗，任職高級產品總監，產品運營專家，曾親自主導參與項目超過15個，10個以上從0到1成功項目實操經驗。微信公眾號：網際網路金融乾貨。

本文由 @劉永平 原創發布於人人都是產品經理。未經許可，禁止轉載。

免責聲明：本文是作者通過多年項目實操，積累分享的乾貨，全部屬於原創，如需轉載分享，必須註明作者和出處，如沒有註明作者和出處，會追究法律責任。

題圖來自PEXELS，基於CC0協議

相關焦點

  • 大數據分析學習之路
    2，數據挖掘算法大數據分析的理論核心就是數據挖掘算法，各種數據挖掘的算法基於不同的數據類型和格式才能更加科學的呈現出數據本身具備的特點，也正是因為這些被全世界統計學家所公認的各種統計方法（可以稱之為真理）才能深入數據內部，挖掘出公認的價值。
  • 從零開始數據分析:一個數據分析師的數據分析流程
    挖掘算法最難的是算法調優，同一種算法在不同場景下的參數設定相同，實踐是獲得調優經驗的重要途徑。在數據挖掘階段，數據分析師要掌握數據挖掘相關能力：一是數據挖掘、統計學、數學基本原理和常識；二是熟練使用一門數據挖掘工具，Clementine、SAS或R都是可選項，如果是程序出身也可以選擇編程實現；三是需要了解常用的數據挖掘算法以及每種算法的應用場景和優劣差異點。
  • 從零開始數據分析:一個數據分析師的數據分析流程 | 網際網路數據...
    挖掘算法最難的是算法調優，同一種算法在不同場景下的參數設定相同，實踐是獲得調優經驗的重要途徑。在數據挖掘階段，數據分析師要掌握數據挖掘相關能力：一是數據挖掘、統計學、數學基本原理和常識；二是熟練使用一門數據挖掘工具，Clementine、SAS或R都是可選項，如果是程序出身也可以選擇編程實現；三是需要了解常用的數據挖掘算法以及每種算法的應用場景和優劣差異點。
  • 科學網—韓家煒:數據挖掘第一人
    「他有『數據挖掘第一人』之稱，是伊利諾伊大學香檳分校具有國際影響力的著名科學家，我們很多學生都選了他的課。」 「我上個月去聽了韓家煒教授的講座，果然是學術大牛，分析問題一針見血，講述道理深入淺出，原先對數據挖掘領域許多一知半解的問題都豁然開朗。」一個園藝設計專業的中國留學生介紹。
  • 「oncomine」——如何在大數據時代挖掘腫瘤數據
  • 提高數據分析能力,你不得不看的33本書|推薦收藏
    2020年，不妨從這裡開始，給自己定下一個小小的目標，開始好好學習吧！ 一、數據分析入門1.《誰說菜鳥不會數據分析》推薦理由：基於通用的Excel工具，在8個章節中，分別講解數據分析必知必會的知識、數據處理技巧、數據展現的技術、通過專業化的視角來提升圖表之美、數據分析報告的撰寫技能以及持續的修煉。
  • 數據產品經理之數據分析與挖掘
    本文主要跟大家講講，如何通過數據分析和數據挖掘從數據中獲取相關信息和挖掘價值，enjoy~自2014年以來，「大數據」連續六年進入國務院政府工作報告，彰顯出國家對於大數據戰略的重視。作為如今網際網路+過程中最火熱的關鍵詞之一，大數據越來越火，隨之而來的數據倉庫、數據安全、數據分析、數據挖掘等圍繞大數據的商業價值發掘利用相關的技術和知識越來越引起政府、企業和求職者的重視。
  • 乾貨 面向大數據的時空數據挖掘
    時空數據挖掘作為一個新興的研究領域，正致力於開發和應用新興的計算技術來分析海量、高維的時空數據，發掘時空數據中有價值的信息。　　面向大數據的時空數據挖掘的挑戰　　儘管時空數據挖掘研究在近幾年引起了人們的廣泛關注並得到快速發展，但與傳統數據挖掘相比，時空數據挖掘研究還遠未成熟。
  • 數據分析?從一開始你就錯了!探索性數據分析套路解讀
    作者：張土豆，R語言中文社區專欄作者博客專欄：https://www.hellobi.com/u/tudouZhang在最初接觸數據分析時，常常把數據文件一股腦兒導入，接著開始嘗試各種模型，目的就是為了快速得到分析預測結果。
  • 微信、微博數據這麼多,如何從中挖掘潛在信息? | CCF-ADL 87期
    他們將對社交網絡和數據挖掘的基礎理論、關鍵技術方法以及當前熱點問題進行深入淺出的介紹，並對如何開展該領域前沿技術研究等進行探討，以及分享近幾年在在線社會媒體中的信息傳播預測方面的研究成果。報告簡介：在大數據時代，以各種格式存在的數據資源非常豐富。一種有意思的想法就是將這些不同格式的資源融合在一起，來協同挖掘數據背後的信息，這將比單一的數據資源獲得更多有價值的結果。「Broad Learning」正是這樣一種新型的學習任務。
  • 大數據_數據挖掘技術分類及應用
    數據挖掘技術從一開始就是面向應用的，它不僅是面向特定資料庫的簡單檢索查詢調用，而且要對這些數據進行微觀、中觀乃至宏觀的統計、分析、綜合和推理，以指導實際問題的求解，企圖發現事件間的相互關聯，甚至利用已有的數據對未來的活動進行預測。
  • 數據分析的黃金十二宮,從入門到精通,十二類好書,想要拿走
    而想要系統地提升自己的數據分析能力，僅靠實際工作中的歷練，或是利用日常的碎片時間從網上搜集和學習數據分析相關的零散知識或案例，肯定是遠遠不夠的。大家非常有必要通過一些專業書籍，由淺入深，建立自己的數據分析知識體系，並針對性地運用於自己的工作中。這裡有一份完整的學習數據分析的書單，可供大家參考，由淺入深分為十二類別，每個類別大家可擇其一。
  • MVP翟永東|從0到1完全掌握大數據
    最早提出大數據時代到來的是麥肯錫：「數據，已經滲透到當今每一個行業和業務職能領域，成為重要的生產因素。人們對於海量數據的挖掘和運用，預示著新一波生產率增長和消費者盈餘浪潮的到來。」最後這一點也是和傳統的數據挖掘技術有著本質的不同；為了更好地理解大數據的價值和理念，建議大家去學習舍恩伯格的《大數據時代》和阿里雲創始人王堅博士的《在線》這兩本書。舍恩伯格在《大數據時代》一書中舉了百般例證，都是為了說明一個道理：在大數據時代已經到來的時候要用大數據思維去發掘大數據的潛在價值。
  • 什麼樣的人適合學習數據分析?小白如何自學數據分析?
    主圖時下的大數據時代與人工智慧熱潮，有很多人對數據分析感興趣，卻下手無從。零基礎小白剛接觸數據分析會有這樣的疑問，沒有數學基礎，可以學習數據分析嗎？如何找到一份數據分析的實習呢？什麼叫數據分析？什麼樣的人適合學習數據分析？應該學習哪些內容？需要用到哪些學習資料？自學數據分析如何安排時間？不是相關專業，如何打造簡歷？
  • 三個月從小白到數據分析師,都是靠著這份書單!
    如何快速成為數據分析師？是很多想轉行數據分析的人經常問的問題，數據分析設計多個領域的知識，內容繁雜，很多人沒有基礎的人自學起來，感覺摸不著頭腦，今天就圍繞數據分析師的成長路徑為大家整理了一個相對完整的從入門到進階的學習書單，內容較多，建議大家採取階段性學習。
  • AI時代,數據挖掘過時了嗎?—企業數據挖掘成功之道(理論篇)
    大數據時代、人工智慧時代，機器學習、人工智慧、深度學習、集成學習……概念漫天飛，數據挖掘似乎成為一個過時技術和概念。今天小編結合多年專業學習與研究經驗，從實踐應用的角度重新梳理一下「數據挖掘」，讓您能夠拋開概念了解本質！
  • 4大數據分析算法,精準數據挖掘,解決你99%的運營需求
    學習數據分析的朋友們都知道，算法是不可或缺的，或者說算法在一定程度上可以更好地量化一個人的學習能力和水平，數據分析中常見的分析方法有對比法、分類法、拆分法、流程法，當然還有其他分析方法，不在本次文章討論範圍內。以下對這幾種分析方法進行理論詳解。
  • 解讀數據挖掘與數據科學之間鮮為人知的區別
    然而，儘管人們對數據科學的工作越來越感興趣，但並不知道如何從事這個職業。因此應該了解數據科學的職業生涯，這其中包括了解不同數據流程之間的差異。一些行業網站和大學正在提供有關數據科學的學習課程。然而，對於初學者來說，他們對於如何入門以及如何選擇有效的路徑並不總是很清楚。因為數據技術領域中一些相似的領域存在顯著的差異。
  • 大數據中數據挖掘的基本步驟
    導讀 數據挖掘基本步驟，數據挖掘過程定義問題、建立數據挖掘庫、分析數據、準備數據、建立模型、評價模型和實施。
  • 吳信東:數據挖掘算法的經典與現代
    今天主要回顧三個方面，第一方面是數據挖掘比較有代表性的領域；第二方面是分析2006年在IEEE ICDM會議上排名前十位的數據挖掘算法；第三方面是分析2006年以後，數據挖掘兩個比較有代表性的方向。無論是模型研究還是應用，數據挖掘主要有10個代表性的領域。第一個領域是大家耳熟能詳的「分類」，主要內容是探討如何將數據進行歸類。