本文約4600字，建議閱讀12分鐘。
本文明確了多標籤圖像分類的概念，並講解了如何構建多標籤圖像分類模型。
介紹
你正在處理圖像數據嗎?我們可以使用計算機視覺算法來做很多事情:
對象檢測
圖像分割
圖像翻譯
對象跟蹤(實時)，還有更多……
這讓我思考——如果一個圖像中有多個對象類別，我們該怎麼辦?製作一個圖像分類模型是一個很好的開始，但我想擴展我的視野以承擔一個更具挑戰性的任務—構建一個多標籤圖像分類模型!
製作一個圖像分類模型
https://www.analyticsvidhya.com/blog/2019/01/build-image-classification-model-10-minutes/?utm_source=blog&utm_medium=multi-label-image-classification
我不想使用簡單玩具數據集來構建我的模型—這太普通了。然後，它打動了我—包含各種各樣的人的電影/電視劇海報。我可以僅通過看海報就能來構建我自己的多標籤圖像分類模型來預測不同的流派嗎？
答案很簡單——是的!在本文中，我解釋了多標籤圖像分類背後的思想。我們將使用電影海報構建我們自己的模型。你將會對我們的模型產生的令人印象深刻的結果感到驚訝。如果你是《復仇者聯盟》或《權力的遊戲》的粉絲，那麼在實現部分會有一個很棒的驚喜(無劇透的)給你。
激動嗎?很好，我們開始吧!
目錄
1. 什麼是多標籤圖像分類？
2. 多標籤圖像分類與多類圖像分類有何不同？
3. 了解多標籤圖像分類模型體系結構；
4. 構建多標籤圖像分類模型的步驟；
5. 案例研究：用Python解決多標籤圖像分類問題；
6.接下來的步驟和你的實驗；
7.尾記。
1. 什麼是多標籤圖像分類？
讓我們通過一個直觀的例子來理解多標籤圖像分類的概念。 看看下面的圖片：
圖1中的對象是一輛汽車。這是顯而易見的。然而，在圖2中沒有汽車，只有一組建築物。你能看出我們要怎麼做嗎?我們將圖像分為兩類，即，有車還是沒車。
當我們只有兩類圖像可以分類時，這就稱為二值圖像分類問題。
讓我們再看一個圖片：
在這個圖片中，你識別出了多少個物體?有太多了——房子、帶噴泉的池塘、樹木、巖石等等。所以，當我們可以將一個圖像分類為多個類(如上圖所示)時，就稱為多標籤圖像分類問題。
現在，這裡有一個問題——我們大多數人對多標籤和多類圖像分類感到困惑。當我第一次遇到這些術語時，我也被迷惑了。現在我對這兩個主題有了更好的理解，讓我來為你們澄清一下區別。
2. 多標籤圖像分類與多類圖像分類有何不同？
假設給我們一些動物的圖片，讓我們把它們分成相應的類別。為了便於理解，我們假設一個給定的圖像可以分為4類(貓、狗、兔子和鸚鵡)。現在，可能有兩種情況:
讓我們通過例子來了解每種情況，從第一個場景開始:
這裡，我們的每個圖像都只包含一個對象。敏銳的你會注意到在這個集合中有4種不同類型的對象(動物)。
這裡的每張圖片只能被分類為貓、狗、鸚鵡或兔子。沒有任何一個圖像屬於多個類別的情況。
當圖像可分類的類別超過兩種時
一個圖像不屬於一個以上的類別
如果滿足上述兩個條件，則稱為多類圖像分類問題。
現在，讓我們思考第二種情況 —— 看看下面的圖像：
第一張圖片(左上角)包含一隻狗和一隻貓
第二幅圖(右上角)包括一隻狗、一隻貓和一隻鸚鵡
第三幅圖(左下角)包含一隻兔子和一隻鸚鵡，以及
最後一張圖片(右下角)包含一隻狗和一隻鸚鵡
這些都是給定的圖像的標籤。這裡的每個圖像都屬於一個以上的類，因此它是一個多標籤圖像分類問題。
這兩種情況應該有助於你理解多類和多標籤圖像分類之間的區別。如果你需要進一步的說明，請在本文下面的評論部分與我聯繫。
在進入下一節之前，我建議你通讀這篇文章——在10分鐘內構建你的第一個圖像分類模型!它將幫助你了解如何解決一個多類圖像分類問題。
在10分鐘內構建你的第一個圖像分類模型：
https://www.analyticsvidhya.com/blog/2019/01/build-image-classification-model-10-minutes/?utm_source=blog&utm_medium=multi-label-image-classification
3. 構建多標籤圖像分類模型的步驟
現在我們已經對多標籤圖像分類有了一個直觀的認識，讓我們深入討論解決這個問題應該遵循的步驟。
第一步是以結構化格式獲取數據。這既適用於圖像二分類，也適用於多類圖像分類。
你應該有一個文件夾，其中包含您想要訓練模型的所有圖像。現在，為了訓練這個模型，我們還需要圖像的真實標籤。因此，你還應該有一個.csv文件，其中包含所有訓練圖像的名稱及其對應的真實標籤。
我們將在本文後面學習如何創建這個.csv文件。現在，只要記住數據應該是一種特定的格式。數據準備好後，我們可以將進一步的步驟劃分如下:
加載和預處理數據
首先，加載所有圖像，然後根據項目的需求對它們進行預處理。為了檢查我們的模型將如何對不可見的數據(測試數據)執行，我們創建了一個驗證集。我們在訓練集上訓練我們的模型並使用驗證集對其進行驗證（標準的機器學習方法）。
定義模型的結構
下一步是定義模型的結構。這包括決定隱藏層的數量、每層神經元的數量、激活函數等等。
訓練模型
是時候在訓練集上訓練我們的模型了!我們輸入訓練圖像及其對應的真標籤對模型進行訓練。我們還在這裡傳入驗證圖像，以幫助我們驗證模型在不可見數據上的性能。
作出預測
最後，我們使用訓練過的模型對新圖像進行預測。
4. 了解多標籤圖像分類模型結構
現在，多標籤圖像分類任務的預處理步驟將類似於多類問題的預處理步驟。關鍵的區別在於我們定義模型結構的步驟。
對於多類圖像分類模型，我們在輸出層使用softmax激活函數。對於每個圖像，我們想要最大化單個類的概率。當一個類的概率增大時，另一個類的概率就減小。所以，我們可以說每個類的概率都依賴於其他類。
但是在多標籤圖像分類的情況下，單個圖像可以有多個標籤。我們希望概率彼此獨立。使用softmax激活函數並不合適。相反，我們可以使用sigmoid激活函數。這將獨立地預測每個類的概率。它將在內部創建n個模型(這裡的n是總類數)，每個類一個模型，並預測每個類的概率。
利用sigmoid激活函數將多標籤問題轉化為n-二分類問題。因此對於每幅圖像，我們將得到概率來確定圖像是否屬於第一類，以此類推。由於我們已經將其轉換為一個n-二分類問題，我們將使用binary_cross-sentropy損失。我們的目標是儘量減少這種損失，以提高模型的性能。
這是我們在定義用於解決多標籤圖像分類問題的模型結構時必須做的主要更改。訓練部分將類似於一個多類問題。我們將傳入訓練圖像及其對應的真實標籤，以及驗證集來驗證模型的性能。
最後，我們將獲取一張新的圖像，並使用訓練過的模型來預測該圖像的標籤。還跟得上嗎?
5. 案例研究：用Python解決多標籤圖像分類問題
祝賀你來到這一步!你的獎勵——用Python解決一個可怕的多標籤圖像分類問題。是時候啟動你最喜歡的Python IDE了!
讓我們明確問題陳述。我們的目標是通過電影的海報圖像來預測電影的類型。你能猜到為什麼這是一個多標籤圖像分類問題嗎?在你往下看之前想一下。
一部電影可以屬於多種類型，對吧?它不僅僅屬於一個類別，如動作片或喜劇片。電影可以是兩種或多種類型的結合。因此，它是多標籤圖像分類。
我們將使用的數據集包含多個多類型電影的海報圖像。我對數據集做了一些更改，並將其轉換為結構化格式，即一個包含圖像的文件夾和一個存儲真正標籤的.csv文件。你可以從這裡下載結構化數據集。下面是一些來自我們數據集的海報:
這裡
https://drive.google.com/file/d/1dNa_lBUh4CNoBnKdf9ddoruWJgABY1br/view
如果你願意，可以在這裡下載原始數據集和基準真值。
這裡
https://www.cs.ccu.edu.tw/~wtchu/projects/MoviePoster/index.html
讓我們開始編程!
首先，導入所有需要的Python庫:
1. import keras
2. from keras.models import Sequential
3. from keras.layers import Dense, Dropout, Flatten
4. from keras.layers import Conv2D, MaxPooling2D
5. from keras.utils import to_categorical
6. from keras.preprocessing import image
7. import numpy as np
8. import pandas as pd
9. import matplotlib.pyplot as plt
10. from sklearn.model_selection import train_test_split
11. from tqdm import tqdm
12. %matplotlib inline
現在，讀取.csv文件並查看前五行的內容:
1. train = pd.read_csv('multi_label_train.csv') # reading the csv file
2. train.head() # printing first five rows of the file
這個文件中有27列。 讓我們輸出這些列的名字看看：
1. train.columns
Genre列包含每個圖像的列表，其中明確了每個圖像對應的電影的類型。因此，從.csv文件的頭部開始，第一個圖像的類型是喜劇和戲劇。
剩下的25列是獨熱碼列。因此，如果一部電影屬於動作類型，它的值將為1，否則為0。每個圖像可以屬於25種不同的類型。
我們將構建一個返回給定電影海報類型的模型。但在此之前，你還記得構建圖像分類模型的第一步嗎?
沒錯——就是正確的加載和預處理數據。所以，讓我們看看所有的訓練圖片:
1. train_image = []
2. for i in tqdm(range(train.shape[0])):
3. img = image.load_img('Multi_Label_dataset/Images/'+train['Id'][i]+'.jpg',target_size=(400,400,3))
4. img = image.img_to_array(img)
5. img = img/255
6. train_image.append(img)
7. X = np.array(train_image)
快速瀏覽一下數組的形狀：
1. X.shape
這裡共有7254個海報圖像，所有圖像都已轉換為（400,300,3）的形狀。 讓我們繪製並可視化其中一個圖像：
1. plt.imshow(X[2])
這是電影《交易場所》的海報。讓我們輸出這部電影的類型：
1. train['Genre'][2]
這部電影僅有一個類型——喜劇。我們的模型所需的下一步是所有圖像的真實標籤。你能猜出這7254個圖像真實標籤的形狀是什麼嗎？
讓我們來看看。 我們知道總共有25種可能的類型。對於每個圖像，我們將有25個目標，即電影是否屬於該類型。 因此，所有這25個目標的值都為0或1。
我們將從訓練文件中刪除Id和Genre列，並將剩餘的列轉換為將成為我們圖像目標的數組：
1. y = np.array(train.drop(['Id', 'Genre'],axis=1))
2. y.shape
輸出數組的形狀是（7254,25），正如我們預想的那樣。 現在，讓我們創建一個驗證集，它將幫助我們檢查模型在不可見的數據上的性能。 我們將隨機分離10％的圖像作為我們的驗證集：
1. X_train, X_test, y_train, y_test =
2. train_test_split(X, y, random_state=42, test_size=0.1)
下一步是定義模型結構。輸出層將有25個神經元（等於類型的數量），我們將使用sigmoid作為激活函數。
我將使用某一結構（如下所示）來解決這個問題。 你也可以通過更改隱藏層數，激活函數和其他超參數來修改此架構。
1. model = Sequential()
2. model.add(Conv2D(filters=16, kernel_size=(5, 5), activation="relu", input_shape=(400,400,3)))
3. model.add(MaxPooling2D(pool_size=(2, 2)))
4. model.add(Dropout(0.25))
5. model.add(Conv2D(filters=32, kernel_size=(5, 5), activation='relu'))
6. model.add(MaxPooling2D(pool_size=(2, 2)))
7. model.add(Dropout(0.25))
8. model.add(Conv2D(filters=64, kernel_size=(5, 5), activation="relu"))
9. model.add(MaxPooling2D(pool_size=(2, 2)))
10. model.add(Dropout(0.25))
11. model.add(Conv2D(filters=64, kernel_size=(5, 5), activation='relu'))
12. model.add(MaxPooling2D(pool_size=(2, 2)))
13. model.add(Dropout(0.25))
14. model.add(Flatten())
15. model.add(Dense(128, activation='relu'))
16. model.add(Dropout(0.5))
17. model.add(Dense(64, activation='relu'))
18. model.add(Dropout(0.5))
19. model.add(Dense(25, activation='sigmoid'))
讓我們顯示我們的模型總結：
1. model.summary()
有相當多的參數要學習！ 現在，編譯模型。 我將使用binary_crossentropy作為損失函數，使用ADAM作為優化器（同樣，你也可以使用其他優化器）：
1. model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])
最後，我們最有趣的部分——訓練模型。我們將訓練模型10個循環，並傳入我們之前創建的驗證數據，以驗證模型的性能：
1. model.fit(X_train, y_train, epochs=10, validation_data=(X_test, y_test), batch_size=64)
我們可以看到訓練損失已降至0.24，驗證損失也降低了。 下一步是什麼？ 是時候做預測了！
所有《權力的遊戲（GoT）》和《復仇者聯盟（Avengers）》的粉絲——這是給你們的禮物。 讓我獲取GoT和Avengers的海報，並將它們提供給我們的模型。 在繼續之前下載GOT和Avengers的海報。
GOT
https://drive.google.com/file/d/1cfIE-42H4_UM-JERoctseLUpKwmd40YE/view
Avengers
https://drive.google.com/file/d/1buNOcfo0Im2HmFH778dUwxven8Zzebtu/view
在進行預測之前，我們需要使用前面看到的相同步驟預處理這些圖像。
1. img = image.load_img('GOT.jpg',target_size=(400,400,3))
2. img = image.img_to_array(img)
3. img = img/255
現在，我們將使用我們訓練好的模型預測這些海報的類型。該模型將告訴我們每種類型的概率，我們將從中獲得前3個預測結果。
1. classes = np.array(train.columns[2:])
2. proba = model.predict(img.reshape(1,400,400,3))
3. top_3 = np.argsort(proba[0])[:-4:-1]
4. for i in range(3):
5. print("{}".format(classes[top_3[i]])+" ({:.3})".format(proba[0][top_3[i]]))
6. plt.imshow(img)
真棒！我們的模型為《權力的遊戲》預測了戲劇，驚悚和動作類型。在我看來，這個分類很好。讓我們在《復仇者聯盟》海報上試試我們的模型。圖像預處理:
1. img = image.load_img('avengers.jpeg',target_size=(400,400,3))
2. img = image.img_to_array(img)
3. img = img/255
然後做預測：
1. classes = np.array(train.columns[2:])
2. proba = model.predict(img.reshape(1,400,400,3))
3. top_3 = np.argsort(proba[0])[:-4:-1]
4. for i in range(3):
5. print("{}".format(classes[top_3[i]])+" ({:.3})".format(proba[0][top_3[i]]))
6. plt.imshow(img)
我們的模型給出的類型是戲劇、動作和驚悚。同樣，這些都是非常準確的結果。這個模型能在好萊塢電影分類上表現的一樣優秀嗎?讓我們來看看。我們將使用這張Golmal 3的海報。
你知道在這個階段該做什麼——加載和預處理的圖像:
1. img = image.load_img('golmal.jpeg',target_size=(400,400,3))
2. img = image.img_to_array(img)
3. img = img/255
然後為這個海報預測電影類型：
1. classes = np.array(train.columns[2:])
2. proba = model.predict(img.reshape(1,400,400,3))
3. top_3 = np.argsort(proba[0])[:-4:-1]
4. for i in range(3):
5. print("{}".format(classes[top_3[i]])+" ({:.3})".format(proba[0][top_3[i]]))
6. plt.imshow(img)
《Golmaal 3》是一部喜劇，我們的模型預測它為最受歡迎的類型。其他預測類型是劇情片和浪漫片——相對準確的評估。我們可以看到該模型能夠僅通過海報預測電影類型。
6. 接下來的步驟和你自己的實驗
這就是如何解決多標籤圖像分類問題。儘管我們只有大約7000張圖片來訓練模型，但我們的模型表現得非常好。
你可以嘗試收集更多的訓練海報。我的建議是使所有的流派類別有相對平等的分布的數據集。為什麼?
如果某一類型在大多數訓練圖像中重複出現，那麼我們的模型可能會與該類型過度匹配。對於每一張新圖片，該模型都可能預測出相同的類型。為了克服這個問題，你應該嘗試均衡的流派類別分布。
這些是你可以嘗試改進模型性能的一些關鍵點。你還能想到別的嗎?告訴我!
7. 尾記
除了流派類型預測外，多標籤圖像分類還有多種應用。例如，你可以使用此技術自動標記圖像。假設你想預測圖像中服裝的類型和顏色。你可以建立一個多標籤圖像分類模型，這將幫助你預測同時兩者!
希望本文能幫助你理解多標籤圖像分類的概念。如果你有任何反饋或建議，請在下面的評論部分與我們分享。實驗快樂!
原文連結：
https://www.analyticsvidhya.com/blog/2019/04/build-first-multi-label-image-classification-model-python/
原文標題：
Build your First Multi-Label Image Classification Model in Python
編輯：王菁
校對：林亦霖
吳金笛，雪城大學計算機科學碩士一年級在讀。迎難而上是我最舒服的狀態，動心忍性，曾益我所不能。我的目標是做個早睡早起的Cool Girl。
工作內容：需要一顆細緻的心，將選取好的外文文章翻譯成流暢的中文。如果你是數據科學/統計學/計算機類的留學生，或在海外從事相關工作，或對自己外語水平有信心的朋友歡迎加入翻譯小組。
你能得到：定期的翻譯培訓提高志願者的翻譯水平，提高對於數據科學前沿的認知，海外的朋友可以和國內技術應用發展保持聯繫，數據派THU產學研的背景為志願者帶來好的發展機遇。
其他福利：來自於名企的數據科學工作者，北大清華以及海外等名校學生他們都將成為你在翻譯小組的夥伴。
點擊文末「閱讀原文」加入數據派團隊~
點擊「閱讀原文」擁抱組織