建站
咨詢
售后
建站咨詢
新聞中心
最近GPT4的火爆覆蓋了一個新聞：midjourney v5發(fā)布，DALLE2，midjourney都可以從文本中生成圖像，這種模型要求人工智能同時理解語言和圖像數(shù)據(jù)。
創(chuàng)新互聯(lián)公司成立與2013年，是專業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項目網(wǎng)站設(shè)計制作、做網(wǎng)站網(wǎng)站策劃，項目實施與項目整合能力。我們以讓每一個夢想脫穎而出為使命，1280元江陵做網(wǎng)站,已為上家服務(wù),為江陵各地企業(yè)和個人服務(wù),聯(lián)系電話:18980820575
傳統(tǒng)的基于人工智能的模型很難同時理解語言和圖像。因為自然語言處理和計算機(jī)視覺一直被視為兩個獨立的領(lǐng)域，這使得機(jī)器在兩者之間進(jìn)行有效溝通具有挑戰(zhàn)性。
然而CLIP的多模態(tài)架構(gòu)通過在相同的潛在空間中學(xué)習(xí)語言和視覺表現(xiàn)在二者之間建立了橋梁 。因此，CLIP允許我們利用其他架構(gòu)，使用它的“語言-圖像表示”進(jìn)行下游任務(wù)。
CLIP是一個基于超大數(shù)據(jù)量的pair-wise 預(yù)訓(xùn)練模型但是在它的下游任務(wù)DalleE-2，Stable-Diffusion中，CLIP也是其中打通文本和圖像的核心模塊，比如開源的SD2就是使用了OpenCLIP來學(xué)習(xí)二者的表示，因此了解CLIP是深入了解后續(xù)擴(kuò)散模型非常重要的一環(huán)，所以我們今天來主要介紹一下CLIP：
Contrastive Language-Image Pre-training （CLIP）利用自然語言描述圖像的數(shù)據(jù)，訓(xùn)練了一個同時對圖像和文本具有深度理解能力的神經(jīng)網(wǎng)絡(luò)模型。通過使用自然語言作為監(jiān)督信號，CLIP 可以自然地跨越多個視覺和語言數(shù)據(jù)集，且具有較強(qiáng)的可遷移性。CLIP 可以與最視覺和語言模型相媲美，且可以在多個視覺和語言任務(wù)上進(jìn)行零樣本學(xué)習(xí)。
架構(gòu)
CLIP架構(gòu)由兩個主要組件組成:圖像編碼器和文本編碼器。每個編碼器都能夠分別理解來自圖像或文本的信息，并將這些信息嵌入到向量中。CLIP的思想是在圖像-文本對的大型數(shù)據(jù)集中訓(xùn)練這些編碼器，并使嵌入變得相似。
“給定一批N(圖像，文本)對，CLIP被訓(xùn)練來預(yù)測一批中N × N個可能的(圖像，文本)對中哪一個是真實的實匹配。”它通過聯(lián)合訓(xùn)練編碼器來學(xué)習(xí)多模態(tài)嵌入空間，對N個圖像和文本嵌入進(jìn)行余弦相似度的計算，最大小化正確的匹配，最大化不正確的匹配。
由于CLIP是在一個大的預(yù)訓(xùn)練數(shù)據(jù)集上訓(xùn)練的，它可以很好地泛化許多下游任務(wù)。CLIP為我們提供了兩個編碼器，可以將文本和圖像嵌入到相同的潛在空間中，所以我們可以有效地將其用于許多應(yīng)用程序。
應(yīng)用
以下是一些使用CLIP的下游任務(wù)示例:
1、圖像分類
CLIP可用于圖像分類任務(wù)，CLIP將圖像與其對應(yīng)的文本描述相關(guān)聯(lián)的能力使其能夠很好地泛化到新的類別，并與其他圖像分類模型相比提高性能。
比如說HuggingFace提供了的這個簡單的例子
from PIL import Image
import requests
from transformers import CLIPProcessor, CLIPModel
model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")
processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32")
url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)
inputs = processor(text=["a photo of a cat", "a photo of a dog"], images=image, return_tensors="pt", padding=True)
outputs = model(**inputs)
logits_per_image = outputs.logits_per_image # this is the image-text similarity score
probs = logits_per_image.softmax(dim=1) # we can take the softmax to get the label probabilities
2、圖像描述
CLIP可用于圖像描述任務(wù)，利用它將圖像與相應(yīng)的文本描述相關(guān)聯(lián)的能力，我們可以將CLIP與其他序列到序列模型結(jié)合起來，使用CLIP的嵌入來生成標(biāo)題等。我們可以參考我們的CoCa(對比字幕)，或者CLIPCap，它將CLIP與GPT模型結(jié)合起來生成字幕。
3、文本到圖像
CLIP在文本到圖像生成上下文中的一個有趣應(yīng)用是潛在擴(kuò)散模型。該模型使用CLIP作為一種方法來指導(dǎo)從文本描述中生成逼真的圖像。
在潛在擴(kuò)散模型中使用CLIP有幾個優(yōu)點。首先，它允許模型生成更忠實于文本描述的圖像，因為CLIP可以就生成的圖像和文本描述之間的語義相似性提供反饋。其次，它允許模型生成更多樣化和更有創(chuàng)造性的圖像，因為CLIP可以引導(dǎo)生成過程朝著不太常見但仍然合理的圖像表示。
CLIP處理圖像和文本輸入的能力及其預(yù)訓(xùn)練過程使其成為各種領(lǐng)域中下游任務(wù)的多功能和強(qiáng)大的工具。
總結(jié)
CLIP 將語言和圖像表示合二為一的能力為許多應(yīng)用打開了大門。雖然我們?nèi)祟惪梢愿兄煌愋偷臄?shù)據(jù)，包括文本、數(shù)據(jù)、音頻等。但是過去基于 AI 的模型已經(jīng)顯示出它們只能理解一種模態(tài)的弱點。有了 CLIP，我們可以想象一個未來，人工智能模型可以像我們一樣“理解”這個世界。
文章題目：CLIP：語言-圖像表示之間的橋梁
文章分享：http://www.dlmjj.cn/article/cdpdsoh.html
