MIT 提出兩種新型分布式對(duì)抗網(wǎng)絡(luò)，性能表現(xiàn)超越傳統(tǒng)單點(diǎn)采樣相關(guān)方法

作者：機(jī)器之心編譯 2017-07-02 05:45:50

開發(fā)

開發(fā)工具

分布式 麻省理工的 Chengtao Li 等研究人員最近提出了新型的分布式對(duì)抗網(wǎng)絡(luò)。與傳統(tǒng)的單點(diǎn)采樣的 GAN 方法不同，分布式對(duì)抗網(wǎng)絡(luò)是對(duì)真實(shí)的樣本進(jìn)行操作。他們的實(shí)驗(yàn)也證明了這種結(jié)構(gòu)的對(duì)抗網(wǎng)絡(luò)更加穩(wěn)定，并且可以更好地完成模態(tài)復(fù)原。

成都創(chuàng)新互聯(lián)公司自成立以來(lái)，一直致力于為企業(yè)提供從網(wǎng)站策劃、網(wǎng)站設(shè)計(jì)、做網(wǎng)站、成都網(wǎng)站建設(shè)、電子商務(wù)、網(wǎng)站推廣、網(wǎng)站優(yōu)化到為企業(yè)提供個(gè)性化軟件開發(fā)等基于互聯(lián)網(wǎng)的全面整合營(yíng)銷服務(wù)。公司擁有豐富的網(wǎng)站建設(shè)和互聯(lián)網(wǎng)應(yīng)用系統(tǒng)開發(fā)管理經(jīng)驗(yàn)、成熟的應(yīng)用系統(tǒng)解決方案、優(yōu)秀的網(wǎng)站開發(fā)工程師團(tuán)隊(duì)及專業(yè)的網(wǎng)站設(shè)計(jì)師團(tuán)隊(duì)。

麻省理工的 Chengtao Li 等研究人員最近提出了新型的分布式對(duì)抗網(wǎng)絡(luò)。與傳統(tǒng)的單點(diǎn)采樣的 GAN 方法不同，分布式對(duì)抗網(wǎng)絡(luò)是對(duì)真實(shí)的樣本進(jìn)行操作。他們的實(shí)驗(yàn)也證明了這種結(jié)構(gòu)的對(duì)抗網(wǎng)絡(luò)更加穩(wěn)定，并且可以更好地完成模態(tài)復(fù)原。

論文地址：https://arxiv.org/pdf/1706.09549.pdf

摘要：我們提出了一種用于對(duì)抗式訓(xùn)練的框架，它依賴于一個(gè)樣本，而不是像判別過(guò)程中的基本單元那樣依靠于一個(gè)單一采樣點(diǎn)。受到概率分布間的差異測(cè)量(discrepancy measures)和二組樣本測(cè)試(twosample tests)的啟發(fā)，我們提出了兩個(gè)這樣的分布式對(duì)抗，可以對(duì)樣本進(jìn)行操作和預(yù)測(cè)，并且展示了它們是怎樣輕易地在現(xiàn)存模型之上被實(shí)施的。很多實(shí)驗(yàn)結(jié)果都表明用我們的分布式對(duì)抗進(jìn)行訓(xùn)練的生成器是更加穩(wěn)定的，而且與用點(diǎn)態(tài)預(yù)測(cè)判別器訓(xùn)練的傳統(tǒng)模型相比，它不容易遭受模型失效(mode collapse)的風(fēng)險(xiǎn)。這一框架在領(lǐng)域適應(yīng)(domain adaptation)當(dāng)中的應(yīng)用與當(dāng)前的***結(jié)果相比也有著相當(dāng)可觀的提升。

圖 1： 用樣本設(shè)置來(lái)解釋***似然下采樣點(diǎn)判別器的模型失效(mode-collapse)行為的直覺(jué)力(intuition)。關(guān)于生成點(diǎn) x 的梯度是由 -1/D (dD/dx) 進(jìn)行加權(quán)，所以靠近第二種類型的點(diǎn)的梯度將由那些***種類型的點(diǎn)的梯度來(lái)控制。

圖 2：DAN-S 和 DAN-2S 模型及其相應(yīng)損失，其中

圖 3：8 個(gè)高斯混合函數(shù)生成數(shù)據(jù)的模態(tài)復(fù)原結(jié)果。最右側(cè)的分布是真實(shí)的數(shù)據(jù)分布。當(dāng)用 GAN 訓(xùn)練生成器的時(shí)候僅能夠捕獲 8 個(gè)模態(tài)中的 1 個(gè)，然而在使用 DAN-S 和 DAN-2S 進(jìn)行訓(xùn)練的情況下，我們能夠復(fù)原所有的 8 種模態(tài)。

圖 4：在 MNIST 上用不同模型生成的樣本的類分布。要注意的是我們展示的是 GAN，RegGAN 和 EBGAN 10 個(gè)隨機(jī)序列中的***的一個(gè)，我們根據(jù)分布熵(distribution entropy)給了它們一個(gè)不公平的優(yōu)勢(shì)。對(duì)于 DAN，我們只是簡(jiǎn)單地展示了一個(gè)隨機(jī)序列。RegGAN 和 EBGN 中的***的序列在某種程度上也復(fù)原了模態(tài)頻率，但是它們?cè)诓煌蛄邢碌男阅鼙憩F(xiàn)卻相差很遠(yuǎn)，詳見(jiàn)圖 5。

圖 5：2 種不同措施下的模態(tài)頻率復(fù)原的表現(xiàn)：生成的模態(tài)分布的熵，和生成模態(tài)分布和標(biāo)準(zhǔn)模態(tài)分布的整體偏差距離。DAN 完成了***的而且最穩(wěn)定的模態(tài)頻率復(fù)原。

圖 6：在 CelebA 數(shù)據(jù)集中用 DCGAN，DANS 和 DAN-2S 訓(xùn)練生成的人臉。

【本文是51CTO專欄機(jī)構(gòu)“機(jī)器之心”的原創(chuàng)譯文，微信公眾號(hào)“機(jī)器之心( id: almosthuman2014)”】

戳這里，看該作者更多好文

網(wǎng)站標(biāo)題：MIT 提出兩種新型分布式對(duì)抗網(wǎng)絡(luò)，性能表現(xiàn)超越傳統(tǒng)單點(diǎn)采樣相關(guān)方法
URL分享：http://www.dlmjj.cn/article/dhhcidi.html