近日，我校計算機學院唐廠課題組在人工智能領域期刊《Information Fusion》（影響因子18.6）發表了題為“Trustworthy Multi-view Clustering via Alternating Generative Adversarial Representation Learning and Fusion”的研究論文，該工作與國防科技大學、301解放軍總醫院等單位合作，提出了一種多模態生成式人工智能模型用以解決無監督學習中的聚類任務。論文第一作者為計算機學院2021級碩士生楊文琪，指導老師為唐廠教授。
如何利用生成式模型對無標簽的復雜多模態數據進行分析及預處理是目前無監督學習中的重要問題之一。然而，現有基于生成式的多模態無監督學習算法往往無法充分挖掘多模態數據之間的一致性信息，且因學得的各模態低維表征之間非對齊而導致融合后的共有知識在處理下游任務時效果不佳。
針對上述問題，本研究提出了一個基于交替生成對抗學習策略的多模態表征學習及融合框架（AGARL），該框架旨在通過生成對抗策略來學習多模態數據的潛在共識表征并服務于聚類等下游任務。該模型主要包括三個主要模塊：1）基于交替生成對抗學習的各模態表征學習模塊：在本研究提出的交替生成對抗學習策略中，來自不同模態的數據將交替作為參照從而確保了學得的各模態的低維表征落在同一潛在的語義空間中進而避免了因不對齊而導致的聚類性能下降；2）跨模態表征融合模塊：不同于以往工作中采取的加權平均融合策略，本研究在融合模塊中通過類注意力網絡使不同模態的度量結構達到相互一致，從而獲得了比其他融合策略更好的性能；3）聚類模塊：在學得多模態共識的低維潛在表征后，本研究通過基于自監督的子網絡進一步學得了更為緊湊的聚類結構劃分。
除此之外，該工作提出的方法不僅在包含傳統圖像、視頻等在內的公開多視圖數據集上取得了相對于當前最先進算法更優的性能，而且同樣能夠在用于藥物發現的公開化合物數據集NCI上取得相較于傳統聚類算法更優的性能，這說明了本研究所提出的模型具有良好的泛化性能且能夠在多模態遙感影像處理、藥物發現等實際應用中發揮有效作用。
圖 1 AGARL網絡架構
Information Fusion是由Elsevier出版商出版的計算機科學領域的頂級期刊之一，中科院分區中為SCI一區TOP期刊，在人工智能領域具有較高影響力。
該研究得到國家自然科學基金、301解放軍總醫院醫學工程實驗室的聯合資助。
論文信息：
Title: Trustworthy Multi-view Clustering via Alternating Generative Adversarial Representation Learning and Fusion
Authors: Wenqi Yang, Minhui Wang, Chang Tang*, Xiao Zheng, Xinwang Liu and Kunlun He*
Source: Information Fusion
DOI: 10.1016/j.inffus.2024.102323
論文鏈接: https://www.sciencedirect.com/science/article/abs/pii/S1566253524001015
鄂公網安備 42011102004169號
