作者：夢想在起飛
來源：http://www.woshipm.com/ai/2002216.html
我所理解的機器學習是一種能夠實現人工智慧的技術，建立能從經驗（數據）中進行學習的模型，從而使這個模型可以達到自行處理此類數據的能力。
也可以理解為：通過大量的數據，訓練出一個能處理此類數據的模型，使得這個模型可以根據已知的數據，準確率很高的判斷出未知的數據，從而使得人類能夠採取正確的方法去處理某些事情。
想要了解機器學習你需要知道以下幾點：
從實際的應用場景出發，要訓練出來一個能夠適應某場景的模型需要經過以下幾步：
場景解析就是將業務邏輯，抽象成為通過算法能夠解決的問題。
比如：做一個心臟病預測系統，那麼就可以抽象為二分類問題——要麼有心臟病，要麼沒有；然後，根據已有的數據看看有沒有目標值，可以判斷出：是監督學習還是無監督學習，還是半監督學習；從而，選擇出能夠處理好此類數據的算法。
（不同場景採用的算法是不同的）高頻的有以下幾種類型的場景：
分類場景：廣告投放預測，網站用戶點擊預測。
聚類場景：人群劃分，產品種類劃分。
回歸場景：商品購買量預測和股票成交額預測。
文本分析類場景：新聞的標籤提取，文本自動分類和文本關鍵信息抽取。
關係圖算法：社交網絡關係，網絡關係挖掘和金融風險控制。
模式識別：語音識別，圖像識別和手寫文字識別
場景解析完，選擇適合處理此類數據的算法後，需要對數據進行預處理——就是對數據進行清洗工作，對空值、亂碼進行處理。
數據預處理的主要目的就是：減少噪音數據對訓練數據的影響。
特徵工程需要做的包括：特徵抽象、特徵重要性的評估、特徵衍生、特徵降維。
在經過以上過成後，進入訓練模塊，生成模型。
案例場景：每天將用戶當日新增的數據量流入資料庫表裡，通過調度系統啟用離線訓練服務，生成最新的離線模型，然後通過在線預測服務進行實時預測。
結構化數據：機構化數據是指以矩陣結構儲存的數據。
資料庫裡的數據就是以這種結構存在，可以通過二維結構來顯示，如下圖：
結構化數據中，有兩個重要的概念需要介紹一下：特徵列和目標列。
上圖裡age，sex，cp列都是特徵列，ifhealth是目標列。
非結構化數據：典型的非結構化數據是圖像、文本、語音等文件；這些數據不能以矩陣的結構儲存，目前的做法也是通過把非結構化的數據轉化為二進位儲存格式。
半結構化數據：半結構化數據是指按照一定的結構儲存，但不一定是二維的資料庫行存儲形態的數據；還有一種是以二維數據形態儲存的，但某些欄位是文本類型，某些欄位是數值類型的，如下圖：
監督學習：是指每個進入算法的訓練樣本數據都有對應的目標值。
如上圖所示，Ifhealth為目標值。
常見的監督學習算法：
無監督學習：就是訓練樣本的數據裡沒有目標列，不依賴於打標好的機器學習算法。
那麼，這樣的數據可能對一些分類和回歸的場景就不太適合了。
無監督學習主要是來解決一些聚類場景的問題。
半監督學習：
通過上面的監督學習和無監督學習的概念，再來看半監督學習就比較好理解了。
也就是說，訓練數據裡只有部分數據是打標的。目前，半監督學習的算法，都是監督學習算法的變形。
強化學習：
強化學習是一種比較複雜的機器學習種類。強調的是：系統與外界不斷的交換，獲得外界的反饋，然後決定自身的行為。
如：無人駕駛，阿爾法狗下圍棋就是強化學習的應用。
過擬合是數據挖掘（通過大量數據，訓練模型的過程也稱為數據挖掘）領域中最常見的問題，是指：通過訓練集訓練了一個模型，這個模型對於訓練集的預測準確率很高，可以達到95%以上；但是換一份兒數據集進行預測，準確率大幅度下降。
出現這種情況的原因可能是：訓練的過擬合現象。
導致過擬合問題的原因有以下三種：
機器學習最終的目的是生成模型。
模型生成後需要一些指標來評估這個模型的好壞。
常用到的概念有：精確率，召回率，F1值，ROC和AUC幾種。
首先介紹一下精確率，召回率和F1值，這3個指標是由：TP，TN，FP，FN這4個值計算而來的（這裡不做解釋了）。
ROC曲線是常用的二分類場景的模型評估算法曲線，下圖齒狀弧形曲線就是ROC曲線。
如圖所示：
通過ROC曲線可以清晰的展示出來，只要模型曲線越來越接近左上角就說明模型的效果越好。
AUC的值是ROC與橫軸所圍起來的面積（圖中帶陰影的部分），這個AUC的值越大說明模型的效果越好。
AUC的值取0～1之間，通常大於0.5，當AUC的值大於0.9以上時，證明這個模型的效果比較好。
以上對機器學習的流程，和一些概念做了解釋，但距離真正可以上手操作還有很遠的距離；如非結構化數據和半結構化數據，如何轉化為結構化數據？特徵抽象，特徵衍生，特徵降維如何操作？等等，實際的操作問題，接下來也會給大家分享。如果有幫助，別忘了點個再看~
本文為轉載自人人都是產品經理
專欄作者：夢想在起飛