實例分割，是機器自動從圖像中用目標檢測的方法框出不同的實例，然後用語義分割的方法在不同的實例區域內進行逐像素標記的過程。簡單的理解就是：在同一個類的實例中區分不同的實例。在計算機視覺的任務中，由於實例分割是像素級識別輪廓任務，因此與其他類似的視覺任務相比，實例分割屬於最困難的視覺任務之一。
實例分割兼具目標檢測和語義分割的特點，因此逐漸演化出基於語義分割的down-top apporach與基於目標檢測的top-down apporach兩種方法。top-down模型是先通過一些方法獲取box區域，然後對區域內的像素進行mask提取，這種模型會面臨以下幾個問題：1）特徵和mask之間的局部一致性會丟失；2）特徵提取的冗餘性，不同的bbox會重新提取mask；3）由於使用縮小特徵圖卷積而造成的位置信息丟失。bottom-up模型則會先對整圖進行逐像素預測(per-pixel prediction)，每個像素生成一個特徵向量，然後通過一些方法來對像素進行分組。由於進行的是逐像素級預測且步長很小，局部一致性和位置信息可以很好的保存，但會面臨以下幾個問題：1）嚴重依賴逐像素預測的質量，容易導致非最優的分割；2）由於mask在低維提取，對於複雜場景(類別多)的分割能力有限；3）需要複雜的後處理方法。
因此綜合top-down和bottom-up的策略，利用instance-level信息(bbox)對per-pixel prediction進行裁剪和加權輸出的方法，成為了一種趨勢。而目前雖然FCIS和YOLACT已有類似的思想，但都沒有很好的處理top-level和bottom-level的特徵，高維特徵包含整體的instance信息，而低維特徵的則保留了更好的位置信息，如何合併高低維特徵，8月7日晚8點，智東西公開課邀請到阿德萊德大學在讀博士、BlendMask一作陳昊參與「CV前沿講座」第13講，陳博士將圍繞《BlendMask-高質高效的實例分割模型》這一主題進行直播講解。
陳博士將從實例分割問題的定義與研究出發，詳解二階段實例分割方案的特點與局限，並對BlendMask模型的原理及BlendMark模型在實例分割、全景分割等任務上的應用進行深入的講解。
陳昊是澳大利亞阿德萊德大學在讀博士，指導老師為沈春華教授。陳博的研究方向為計算機視覺，包括實例檢測分割、網絡結構搜索和文字檢測識別等。他的研究成果發表於CVPR、IEEE等頂級會議，其中包括4篇CVPR2020。
課程內容
主題：BlendMask：高質高效的實例分割模型
提綱：1、實例分割問題的定義與研究2、二階段方案的特點與局限3、BlendMask模型的框架與原理解析4、BlendMask模型在實例分割、全景分割等任務上的應用
講師介紹
陳昊，澳大利亞阿德萊德大學博士生，指導老師為沈春華教授。研究方向為計算機視覺，包括實例檢測分割、網絡結構搜索和文字檢測識別等。其研究成果發表於CVPR、IEEE等頂級會議，其中包括4篇CVPR2020。
直播信息
直播時間：8月7日20:00直播地點：智東西公開課小程序答疑地址：智東西公開課討論群
加入主講群
本次課程的講解分為主講和答疑兩部分，主講以視頻直播形式，答疑將在「智東西公開課討論群」進行。加入討論群，除了可以免費收看直播之外，還能認識講師，與更多同行和同學一起學習，並進行深度討論。掃碼添加小助手糖糖（ID：hitang20）即可申請，備註「姓名-公司/學校/單位-職位/專業」的朋友將會優先審核通過哦~