近期，人工智能領域國際學術會議IJCAI 2023（中國計算機學會CCF A類會議）於8月19日至8月25日在中國澳門召開，万事平台計算機工程與科學學院李曉強副教授課題組的研究成果“Hierarchical Semantic Contrast for Weakly Supervised Semantic Segmentation”被該會議接收錄用🚣🏿‍♂️，並在大會進行口頭報告🚽。IJCAI全稱國際人工智能聯合會議（International Joint Conference on Artificial Intelligence），該會議是是國際人工智能界最有影響力和權威性的盛會之一，在世界範圍內每年召開一次，本屆會議錄用率約為15%。

該研究工作受到上海市科委人工智能重點項目支持💕，計算機工程與科學學院2022級碩士研究生吳遠塵為論文第一作者，李曉強副教授為唯一通訊作者。

弱監督語義分割🕸🪙，是一項旨在將圖像中的不同物體或區域進行精確分割的計算機視覺任務。與傳統的監督學習不同，弱監督語義分割不需要精確的像素級標註🚣🏿‍♂️，而是通過使用弱標簽來完成模型訓練。這一任務的關鍵挑戰在於如何從弱標簽中獲取準確的分割結果。研究人員通常利用標簽包圍框、圖像級標簽或點級標簽等信息，來引導分割模型的訓練過程。弱監督語義分割技術能夠有效緩解像素級數據標註成本高昂的問題👨‍❤️‍👨，在醫學圖像分析⚫️、自動駕駛🤘🏻、環境監測等領域具有廣泛應用潛力。該工作使用像素級別的弱標簽完成語義分割任務👩🏼‍🦳。

圖1 分割目標的不同語義層次

基於像素級別的弱標簽的弱監督語義分割常見做法是利用類激活圖（Class Activation Map）來生成偽像素級標簽，然後用這些標簽來訓練分割模型🧏🏿‍♀️🏣。但是👨‍🚒，CAM通常只能覆蓋物體的最顯著區域，或者激活一些無關區域，影響了分割性能。為了改善CAM的質量，作者認為分割目標的語義包含多個層次，在不同的語義層次上進行語義對比有助於模型學習到更好的目標模式理解。因此，團隊提出了一種新的方法🪞，稱為層次語義對比（Hierarchical Semantic Contrast）🦋，它利用對比學習思想對不同層次的語義關系進行建模🧎‍♀️，從而使模型能夠學習更全面的語義結構，並生成更精確的CAM。HSC涉及三個層次的語義對比📿，即感興趣區域（ROI）層次，類別層次，和像素層次🙍🏽。HSC還采用了交叉監督和動量原型學習來提高語義一致性和豐富性♝。

圖2 基於層次語義對比的CAM生成框架

作者在PASCAL VOC 2012數據集上對提出的方法進行測試🫛，層次語義對比框架生成CAM偽標簽訓練分割模型（DeepLab ASPP）☪️，最終在測試集上實現了74.5%的mIoU👩🏿‍🎨✍🏼，創造了新的基於圖像標註的弱監督語義分割性能記錄（SOTA）。與其他對比方法相比，作者的方法在對象完整性和邊界精度方面有顯著的提升🧑🏿‍🦳，可視化結果表明提出的方法在簡單和復雜場景下都表現良好🧑‍🧒‍🧒。

圖3 不同方法在PASCAL VOC 2012驗證集及測試集性能比較

圖4 最終分割結果

近年來，計算機學院研究生人才培養工作正逐漸深入專業領域前沿，一些高質量科研成果正在不斷產出🤹🏿‍♂️。這些成果將為計算機學院學科建設、研究生培養起到重要的支撐作用。