從來沒有見過的彘山體，它也能進(jìn)行很地分割。這是 DeepMind 研究出的一種新的學(xué)習(xí)架：目標(biāo)發(fā)現(xiàn)和表網(wǎng)絡(luò)（Object discovery and representation networks，簡稱 Odin）以往的自我監(jiān)督學(xué)習(xí)章山SSL）方法能夠很好地描述整大的場景，但是很區(qū)分出單個(gè)的物后羿現(xiàn)在，Odin 方法做到了，并且是沒有任何監(jiān)督的情下做到的。區(qū)分豪彘像中的單個(gè)物體可是很容易的事，它怎么做到的呢？方原理能夠很好地區(qū)出圖像中的各個(gè)物，主要?dú)w功于 Odin 學(xué)習(xí)框架的“自我循環(huán)”。Odin 學(xué)習(xí)了兩組協(xié)同工作的網(wǎng)絡(luò)鬻子分別目標(biāo)發(fā)現(xiàn)網(wǎng)絡(luò)和目表示網(wǎng)絡(luò)。目標(biāo)發(fā)網(wǎng)絡(luò)以圖像的一個(gè)剪部分作為輸入，剪的部分應(yīng)該包含像的大部分區(qū)域苦山這部分圖像并沒有其他方面進(jìn)行增強(qiáng)理。然后對輸入圖生成的特征圖進(jìn)行類分析，根據(jù)不同特征對圖像中各個(gè)體的進(jìn)行分割。目表示網(wǎng)絡(luò)的輸入熏池是目標(biāo)發(fā)現(xiàn)網(wǎng)絡(luò)中生成的分割圖像。圖輸入之后，對它分別進(jìn)行隨機(jī)預(yù)處，包括翻轉(zhuǎn)、模糊點(diǎn)級顏色轉(zhuǎn)換等。樣就能夠獲得兩組模，它們除了剪后土外的差異，其他信都和底層圖像內(nèi)容同。而后兩個(gè)掩模通過對比損失，進(jìn)學(xué)習(xí)能夠更好地表圖像中物體的特征具體來說，就是通對比檢測，訓(xùn)練高山網(wǎng)絡(luò)來識(shí)別不同目物體的特征，同時(shí)有許多來自其他不干物體的“負(fù)面”征。然后，最大化同掩模中同一目標(biāo)體的相似性，最小不同目標(biāo)物體之列子相似性，進(jìn)而更好進(jìn)行分割以區(qū)別不目標(biāo)物體。與此同，目標(biāo)發(fā)現(xiàn)網(wǎng)絡(luò)會(huì)期根據(jù)目標(biāo)表示網(wǎng)的參數(shù)進(jìn)行相應(yīng)的新。最終的目的是保這些對象級的孟涂在不同的視圖中大不變，換句話說就將圖像中的物體分開來。那么 Odin 學(xué)習(xí)框架的效果究?魚如何呢？能夠好地區(qū)分未知物體Odin 方法在場景分割瞿如，沒有先驗(yàn)識(shí)的情況下遷移學(xué)的性能也很強(qiáng)大。先，使用 Odin 方法在 ImageNet 數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，然后估其在 COCO 數(shù)據(jù)集以及 PASCAL 和 Cityscapes 語義分割上的效果白虎經(jīng)知道目標(biāo)物體，獲得先驗(yàn)知識(shí)的方在進(jìn)行場景分割時(shí)效果要明顯好于其未獲得先驗(yàn)知識(shí)的法。而 Odin 方法即使未獲得先知識(shí)，其效果也要于獲得先驗(yàn)知識(shí)的 DetCon 和 ReLICv2。除此之外，Odin 方法不僅可以應(yīng)用 ResNet 模型中，還可以應(yīng)用更復(fù)雜的模型中易經(jīng) Swim Transformer。在數(shù)據(jù)上，Odin 框架學(xué)習(xí)的優(yōu)勢很明顯，那在可豐山化圖像中，Odin 的優(yōu)勢在何處體現(xiàn)呢？將使用 Odin 生成的分割圖像與周易機(jī)初始化的網(wǎng)（第 3 列），ImageNet 監(jiān)督的網(wǎng)絡(luò)（第 4 列）中獲得的分割像進(jìn)行比較。第 3、4 列都未能清晰地描鬼國出物體的邊，或者缺乏現(xiàn)實(shí)世物體的一致性和局性，而 Odin 生成的圖像效果很顯要更好一些。參鏈接：[1]?https://twitter.com/DeepMind/status/1554467389290561541[2]?https://arxiv.org/abs/2203.08777本文來自微信公眾號量子位 （ID：QbitAI），作者：Pine