中國科學技術大學九韶團隊研究了模式崩潰發(fā)生的根本機理,，基于數學理論分析提出了一種新方法定量檢測和解決生成對抗網絡（GANs）中的模式崩潰問題。該成果以“DynGAN: Solving Mode Collapse in GANs with Dynamic Clustering”為題發(fā)表在國際知名學術期刊IEEE Transactionson Pattern Analysis and Machine Intelligence,。
圖1：什么是模式崩潰現象,。
（注：圖截取自文獻：Goodfellow, Ian. "NIPS 2016 tutorial: Generative adversarial networks." arXiv preprint arXiv:1701.00160 (2016).）
生成對抗網絡（GAN）是廣泛使用的生成模型，通過學習真實樣本的分布用于合成復雜逼真的數據,。然而,，模式崩潰（mode collapse）是生成對抗網絡面臨的一個重要挑戰(zhàn)，即生成樣本的多樣性明顯低于真實樣本的多樣性,，這對進一步應用造成了困擾,。由于生成對抗網絡及其訓練過程的復雜性，涉及多種可能的因素和環(huán)節(jié),，一直無法明確究竟是何種機理導致模式崩潰的發(fā)生,。
圖2：模式崩潰發(fā)生的根本機理。
經過深入研究,，研究團隊發(fā)現了生成對抗網絡產生模式崩潰的根本機理,。理論分析表明，當真實數據存在多個模式時,，生成器損失函數關于其參數是非凸的,。具體地，導致生成分布僅覆蓋真實分布的部分模式的參數,，是生成器損失函數的局部極小點,。
圖3：解決模式崩潰的新方法。
為了解決模式崩潰問題,，我們提出了一個統一的框架,，稱為動態(tài)生成對抗網絡（Dynamic GAN,DynGAN）。該方法通過對可觀察的判別器輸出設置相應閾值,，檢測出生成器無法生成的樣本（崩潰樣本）,，根據這些崩潰樣本劃分訓練集，然后在這些劃分上訓練動態(tài)條件的生成模型。
圖4：DynGAN在合成數據集上的表現,。
圖5：DynGAN在現實世界數據集上的效果,。
研究結果理論確保了所提新方法DynGAN的漸進式模式覆蓋。合成數據集和現實世界數據集的實驗表明,，DynGAN在克服模式崩潰方面超過了現有GAN及其變體,。該研究工作不僅推進了生成對抗網絡的理論研究，也為完善生成模型的模式覆蓋提供了重要的實現手段,。
中國科學技術大學羅翌新博士,、楊周旺教授分別是該工作的第一作者和通訊作者。本項研究獲得了國家自然科學基金委重大研究計劃,、科技部國家重點研究計劃“數學和應用研究”重點專項,、中國科學院戰(zhàn)略性先導科技專項、安徽省重大科技攻關專項等基金項目的支持,。
論文鏈接：https://doi.org/10.1109/TPAMI.2024.3367532
Yixin Luo,Zhouwang Yang*. DynGAN: Solving Mode Collapse in GANs with Dynamic Clustering.IEEE Transactions on Pattern Analysis and Machine Intelligence,p1-12, 20 February 2024.
（數學科學學院,、科研部）
