聲明：本文來自微信公眾號“量子位”（ID:QbitAI），作者:蕭簫，，授權站長之家轉載發布。
無需文字標簽，完全自監督的Meta視覺大模型來了!
(資料圖片僅供參考)
小扎親自官宣，發布即收獲大量關注度——
在語義分割、實例分割、深度估計和圖像檢索等任務中，這個名叫DINOv2的視覺大模型均取得了非常不錯的效果。
甚至有超過當前最好的開源視覺模型OpenCLIP之勢。
雖然此前Meta就發布過自監督學習視覺大模型DINO，不過這次AI識別圖像特征的能力顯然更進一步，準確分割出了視頻中的主體:
可別以為DINOv2通過自監督學會的只有圖片分割。事實上，它已經能根據不同類別、不同場景下的照片，準確識別出同種物體（狗）的頭部、身體和四肢長在哪:
換而言之，DINOv2自己學會了找圖像特征。
目前Meta官方不僅已經放出了開源代碼，而且還給了網頁版Demo試玩。有網友內涵:
什么叫開源，LLaMA，SAM，DINOv2這才叫開源!
一起來看看，DINOv2的效果究竟如何。
事實上，DINOv2是基于上一代DINOv1打造的視覺大模型。
這個模型參數量是10億級，也仍然是視覺Transformer架構（ViT），但與DINO不太一樣的是，這次DINOv2在數據集上經過了精心挑選。
具體來說，DINOv2構建了一個數據篩選pipeline，將內容相似的圖片精心篩選出來，同時排除掉相同的圖片:
最終呈現給DINOv2的訓練數據圖片雖然沒有文字標簽，但這些圖片的特征確實是相似的。
采用這類數據訓練出來的視覺模型，效果如何?
這是DINOv2在8個視覺任務上的表現，包括語義分割、分類、深度估計等，其中橙色是自監督方法的效果，深粉色是弱監督方法的效果。
可以看見，經過自監督學習的視覺模型，表現上已經與經過弱監督學習的模型性能相當。
實際效果也不錯，即便在一系列照片中，相同物體的畫風并不相似，DINOv2也能準確識別它們的特征，并分到相似的列表中。
如（a）組中都具有翅膀的鳥和飛機、(b)組中的大象和大象雕塑、(c)組中的汽車和汽車玩具模型、(d)組中的馬和涂鴉版馬:
而且從PCA（主成分分析）圖像效果來看，DINOv2不僅能準確分類，還能用不同顏色標出它們“相同”的部分，例如象鼻都是綠色、車輪都是紅色、馬的尾巴是黃色等。
換而言之，DINOv2能理解這些圖像中的相似之處，就像人會形容飛機“看起來像一只鳥”一樣。
目前DINOv2已經放出Demo，我們也試了試它的實際效果。
官網已經開放語義分割、圖像檢索和深度估計三大功能的試玩。
據Meta介紹，這幾個任務中，DINOv2在大多數基準上超過了目前開源視覺模型中表現最好的OpenCLIP。
我們先來看看深度估計的效果。
值得一提的是，在效果更好的情況下，DINOv2運行的速度也比iBOT更快，相同硬件下只需三分之一的內存，運行速度就能比DINOv2快上2倍多。
這是Meta論文中與OpenCLIP在實際例子上的比較效果:
我們用這張猛男版新寶島試一下，看起來還不錯，即使是高糊圖片也能比較好地估計出深度:
接下來是語義分割的效果，這里也先給出Meta論文中的數據對比情況:
這里也給出OpenCLIP和DINOv2的對比，中間的圖片是OpenCLIP的效果，右邊是DINOv2分割的效果:
我們也用一張辦公室的圖片試了一下，看起來DINOv2還是能比較準確地分割人體、物體的，但在細節上會有一些噪點:
最后是圖片檢索。
官網上給出的圖片效果還是挺不錯的，輸入鐵塔照片，可以生成不少含鐵塔的相似藝術圖片:
這里我們也試了試，輸入一張華強買瓜，給出來的藝術圖片大多數與西瓜有關:
那么，這樣的自監督視覺大模型可以用在哪里?
從Meta給出的視頻來看，目前有一些比較環保的用途，例如用于估計全球各地的樹木高度:
除此之外，如同扎克伯格所說，DINOv2還能被用于改善醫學成像、糧食作物生長等。當然這里小扎還進一步強調:
可以被用于制作更具沉浸感的元宇宙。
嗯，看來Meta的元宇宙路線還將繼續……
試玩Demo地址:https://dinov2.metademolab.com/demos
項目地址:https://github.com/facebookresearch/dinov2
（舉報）
關鍵詞：
