歷法幹五種基本結構的模式解讀
生成拮抗網絡是近年來無監督學習領域最大的進展，被譽為下壹代深度學習。無論是研究熱情還是論文數量，都已經接近甚至超過了傳統的判別型CNN架構。
這次簡單介紹壹下生成對抗網絡的主流模型結構，從壹個生成器和壹個鑒別器到多個生成器和多個鑒別器。
作者|有三個字
編輯|有三個字
本期我們不打算從頭說起GAN，所以如果妳沒有相關基礎，可以看看上壹期我們對GAN的介紹。
《技術評論》有三種理論:GANs (I)？
這是用於生成圖像的基本GAN的結構。
生成器是壹個生成器，輸入噪聲，輸出生成的圖像。通常噪聲是壹維向量，將其整形為二維圖像，然後使用幾個反卷積層來學習上采樣。
比如全滾動的DC-甘模型[1]，輸入是1*100的向量，然後通過壹個全連接的層學習把它整形為4*4*1024的張量，然後通過四個上采樣反卷積網絡生成。
Discrimator是普通的CNN分類器，輸入真實樣本或者產生虛假樣本進行分類，也是DCGAN中的四個卷積層。
使用多個鑒別器的優勢[2]帶來了類似於boosting的優勢。訓練壹個過好的鑒別器會損害發生器的性能，這是g an面臨的壹個大問題。如果能訓練出幾個不是那麽強的鑒別器，然後助推，就能取得很好的效果，甚至可以應用輟學技術。
多個鑒別器也可以相互配合工作，比如在圖像分類中，壹個進行粗粒度分類，壹個進行細粒度分類。在語音任務中，它們用於處理不同的通道。
壹般來說，生成器的任務比鑒別器更難，因為它要擬合數據的概率密度，而鑒別器只需要鑒別，這就導致了壹個影響GAN性能的問題，即模式崩潰，即生成高度相似的樣本。
使用多個生成器和單個鑒別器可以有效地緩解這個問題。
從上面的結構可以看出，多臺發電機采用相同的結構，在網絡的淺層享有權重。
在使用GAN的半監督圖像分類任務中，鑒別器需要同時扮演兩個角色，即鑒別產生的虛假樣本和預測分類，這對鑒別器提出了更高的要求。通過增加壹個分類器，可以分擔鑒別器的工作量，即將捕獲樣本和標簽的條件分布的任務交給生成器和分類器，而鑒別器只專註於區分真實樣本和生成樣本。
這種結構用三重生成對抗網來表示，下圖顯示了它的網絡結構。
有幾種生成器和鑒別器。
5.1級聯結構[5]
早期以DCGAN為代表的網絡生成的圖片分辨率太低，質量不夠好。它們都小於100×100，在32×32或64×64左右。這是因為很難壹次生成高分辨率的樣本，收斂過程容易不穩定。
在圖像分割和目標檢測中也存在類似的問題。在目標檢測中，級聯網絡被廣泛使用，即檢測器的性能從粗到細得到提高。在圖像分割中進行上采樣時，我們也采用學習小放大倍數而不是大放大倍數的方法。比如用兩次上采樣代替壹次四倍上采樣，既能增強網絡的表達能力，又能降低學習難度。
基於此，金字塔GAN結構被提出並廣泛使用。它參考圖像場中的金字塔結構由粗到細逐步生成圖像，並加入殘差進行學習。
上圖是它的結構，從低分辨率的z3開始，壹步步上升，最後生成I0，是壹個金字塔形的結構。以下符號多以圖片代替。
5.2平行和循環結構[6]
GAN的壹大應用就是風格化，實現了兩個域之間的風格互換，CycleGAN[6]就是典型代表。它包含多個生成器和多個鑒別器。循環的典型結構如下:
x和Y分別代表兩個域的圖像。可以看出，有兩個生成器G和F，分別用於生成從X到Y和Y到X，包含兩個鑒別器，即Dx和d Y。而且損失本身也增加了壹個循環損失，有興趣的讀者可以仔細閱讀文章。
此外，多鑒別器、多生成器和多結構經常用於跨領域學習，以分別學習不同的領域。而且每個域中的鑒別器和生成器通常享有壹些權重，如下圖所示，這是CoGAN的網絡結構[7]。
此外，還有壹些分散的結構，如3D GAN和RNN GAN，它們都是上述類別的變體，不會以統壹的方式介紹。
[1]拉德福德A，梅斯L，欽塔拉S，等.基於深度卷積生成對抗網絡的無監督表示學習[J].學習表征國際會議，2016。
[2]杜魯卡，金普，馬哈德萬，等.生成性多對手網絡[J].學習表征國際會議，2017。
[3] Ghosh A，Kulharia V，Namboodiri V P，等.多智能體多樣生成對抗網絡[J].計算機視覺與模式識別，2018:8513-8521。
[4]崇軒L I，徐T，朱J，等.三重生成對抗網[J].神經信息處理系統，2017: 4088-4098。
[5] Denton E L，Chintala S，Szlam A，等.基於拉普拉斯金字塔的深層生成圖像模型[J].神經信息處理系統，2015:1486-1494。
[6]朱軍，Park T，Isola P，等.基於循環壹致對抗網絡的不成對圖像到圖像翻譯[J].計算機視覺國際會議，2017: 2242-2251。
[7]劉M，圖澤爾o .耦合生成性對抗網絡[J].神經信息處理系統，2016: 469-477。
該系列的完整目錄:
模型解讀從LeNet到VGG，看卷積+匯集系列的網絡結構。
《網絡中的網絡》1*1卷積的模型解讀，妳懂嗎？
GoogLeNet中的inception結構的模型解讀，妳看懂了嗎？
模型解讀談移動終端基準模型MobileNets
模式解讀統籌去哪兒了？
resnet中剩余連接的模型解釋，妳確定妳真的理解了嗎？
“不規則”卷積神經網絡的模型解釋
「全連通」卷積網絡的模型解釋有什麽好處？
從“局部連接”到“完全連接”的神經網絡模型解釋
壹個模型解釋深度學習網絡只能有壹個輸入嗎？
從2D褶積到三維褶積的模型解釋有什麽區別？
從RNN到LSTM的模式解讀分析