訓(xùn)練一個高準(zhǔn)確率的檢測模型需要大量精細(xì)標(biāo)注的圖片數(shù)據(jù)，其成本很高。本文提出了一種弱監(jiān)督協(xié)同學(xué)習(xí)框架，僅使用粗略標(biāo)簽的圖片訓(xùn)練目標(biāo)檢測模型，測試結(jié)果顯示其定位精確率和檢測準(zhǔn)確率均顯著優(yōu)于目前最先進(jìn)的方法。

目標(biāo)檢測是機(jī)器視覺的基本問題，在視頻監(jiān)控、無人駕駛等場景都有廣泛應(yīng)用。隨著深度學(xué)習(xí)的興起，近年來涌現(xiàn)了大量優(yōu)秀的目標(biāo)檢測模型。然而，訓(xùn)練一個高準(zhǔn)確率的檢測模型需要大量的以包圍框形式精細(xì)標(biāo)注的圖片數(shù)據(jù)作為模型監(jiān)督條件，需要花費(fèi)大量的人力物力。

同時，我們可以從互聯(lián)網(wǎng)輕松獲取海量粗標(biāo)注的圖片，如利用Flickr的標(biāo)簽。因此，研究如何在弱監(jiān)督條件下，即僅提供粗略圖片類別標(biāo)注，訓(xùn)練目標(biāo)檢測模型，具有重要的意義。已有學(xué)者探索了基于多示例學(xué)習(xí)構(gòu)建弱監(jiān)督條件下的目標(biāo)檢測模型學(xué)習(xí)方法，但是模型的精確度仍然難以令人滿意。

論文：Collaborative Learning for Weakly Supervised Object Detection

論文鏈接：https://arxiv.org/abs/1802.03531

本論文提出了一種弱監(jiān)督協(xié)同學(xué)習(xí)（WSCL）的框架，將弱監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)和強(qiáng)監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)連接成為一個整體網(wǎng)絡(luò)，通過一致性損失約束強(qiáng)監(jiān)督和弱監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)具有相似的預(yù)測結(jié)果，通過強(qiáng)監(jiān)督和弱監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)間部分特征共享保證兩個網(wǎng)絡(luò)在感知水平上的一致性，從而實(shí)現(xiàn)強(qiáng)監(jiān)督和弱監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)的協(xié)同增強(qiáng)學(xué)習(xí)。弱監(jiān)督協(xié)同學(xué)習(xí)框架結(jié)構(gòu)如下圖所示：

弱監(jiān)督協(xié)同學(xué)習(xí)框架（以目標(biāo)檢測為例）

基于上述弱監(jiān)督協(xié)同學(xué)習(xí)框架，論文設(shè)計(jì)了一個端到端的弱監(jiān)督協(xié)同檢測網(wǎng)絡(luò)（WSCDN），弱監(jiān)督和強(qiáng)監(jiān)督的檢測模塊分別采用了目前最優(yōu)秀WSDDN和RCNN網(wǎng)絡(luò)結(jié)構(gòu)。其網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示。

弱監(jiān)督協(xié)同目標(biāo)檢測學(xué)習(xí)模型

在每次學(xué)習(xí)迭代中，整個目標(biāo)檢測網(wǎng)絡(luò)只將圖像級標(biāo)簽作為弱監(jiān)督，并且通過預(yù)測一致性損失并行優(yōu)化強(qiáng)監(jiān)督和弱監(jiān)督檢測網(wǎng)絡(luò)。

下圖是WSCDN訓(xùn)練時，強(qiáng)監(jiān)督和弱監(jiān)督檢測網(wǎng)絡(luò)準(zhǔn)確率的變化曲線。

可以看出，在訓(xùn)練的初始階段，弱監(jiān)督檢測網(wǎng)絡(luò)準(zhǔn)確率高于強(qiáng)監(jiān)督檢測網(wǎng)絡(luò)。隨著協(xié)同訓(xùn)練輪次的增多，兩者的準(zhǔn)確率均逐漸上升，但強(qiáng)監(jiān)督檢測網(wǎng)絡(luò)提升的速度更快，并很快超越弱監(jiān)督檢測網(wǎng)絡(luò)。在整個訓(xùn)練過程中，兩類檢測網(wǎng)絡(luò)相互協(xié)同，達(dá)到了共同提高的效果。

我們比較了弱監(jiān)督協(xié)同檢測網(wǎng)絡(luò)與其他相關(guān)弱監(jiān)督檢測方法在PASCAL VOC 2007測試圖片上的效果（見下圖）。其中，IW是單獨(dú)訓(xùn)練得到的弱監(jiān)督檢測模型，CSS是分開迭代訓(xùn)練得到的強(qiáng)監(jiān)督檢測模型，CLW和CLS分別是通過弱監(jiān)督協(xié)同檢測網(wǎng)絡(luò)得到的強(qiáng)監(jiān)督和弱監(jiān)督檢測網(wǎng)絡(luò)?？梢钥闯?，我們的強(qiáng)監(jiān)督檢測網(wǎng)絡(luò)明顯優(yōu)于其他檢測器網(wǎng)絡(luò)，表現(xiàn)在可以得到更全面和更緊湊的包圍框預(yù)測。

我們用PASCAL VOC 2007和PASCAL VOC 2012數(shù)據(jù)集進(jìn)行了測試。結(jié)果表明，弱監(jiān)督協(xié)同檢測網(wǎng)絡(luò)的定位精確率以及檢測準(zhǔn)確率均顯著優(yōu)于目前最先進(jìn)的方法。

弱監(jiān)督協(xié)同檢測網(wǎng)絡(luò)與其他目前最先進(jìn)的方法在PASCAL VOC 2007 測試數(shù)據(jù)集上檢測精確度的比較(AP) (%)

弱監(jiān)督協(xié)同檢測網(wǎng)絡(luò)與其他目前最先進(jìn)的方法在PASCAL VOC 2007 trainval set 上定位精確度的比較(CorLoc) (%)

弱監(jiān)督協(xié)同檢測網(wǎng)絡(luò)與其他目前最先進(jìn)的方法在PASCAL VOC 2012 測試數(shù)據(jù)集上檢測精確度的比較(AP) (%)

弱監(jiān)督協(xié)同檢測網(wǎng)絡(luò)與其他目前最先進(jìn)的方法在PASCAL VOC 2012 trainval set 上定位精確度的比較(CorLoc) (%)