近日,理學院數學系徐姿教授團隊及其合作者在非凸極小極大優化問題的優化算法領域取得重要進展,相關研究成果以“Derivative-free Alternating Projection Algorithms for General Nonconvex-Concave Minimax Problems”為題發表於國際運籌優化頂級期刊《SIAM Journal on Optimization》(中科院一區Top👩🏼💻,中國數學會T1期刊,運籌優化領域國際三大頂級期刊之一)。該論文徐姿教授為第一作者,万事平台為第一署名單位🙆🏼♂️。
非凸極小極大問題的理論🦶🏿、算法和應用屬於數據科學和人工智能中的優化模型、算法設計與分析研究領域,這是 2022 年國家自然科學基金“十四五發展規劃中的”優先發展領域。近期,該類的優化算法及復雜度分析🥋,成為優化和機器學習🥬、人工智能等交叉領域國際研究的前沿和熱點問題🥣。非凸極小極大問題一般是NP-難的🚀。如果只有目標函數信息可用,梯度信息不可用🔤,已有的一階算法不能直接用於求解此類問題👨🦼。本項工作提出了無導數交替隨機梯度投影(ZO-AGP)算法用於求解非凸-凹極小極大問題,並且證明了ZO-AGP算法獲得近似穩定點的函數值計算或調用次數的上限🦴🧓🏽。進一步🙋,本項工作還提出了零階塊交替隨機鄰近梯度(ZO-BAPG)算法求解分塊非光滑非凸-凹極小極大問題🧍♂️👨🏼⚖️,並且證明了ZO-BAPG算法獲得近似穩定點的函數值計算或調用次數的上限🦸🏽♀️。ZO-AGP和ZO-BAPG是分別求解這兩類問題的首個具有迭代復雜度保證的零階算法。本項研究將推動優化算法在機器學習等領域的發展。
近些年來,徐姿教授團隊在最優理論與方法及其在機器學習等領域的應用方面做出了很多創新性的工作,在Mathematical Programming、SIAM Journal on Optimization👩🎓🧑🏻🦯➡️、Journal of Machine Learning Research、IEEE Journal on Selected Areas in Communications等國際權威期刊上發表論文30余篇🎞,研究成果得到美國科學院和工程院院士M. I. Jordan教授,英國皇家工程院院士、匈牙利科學院外籍院士L. Hanzo教授,加拿大皇家科學院🔷、工程院兩院院士J. Pei教授等國際著名專家的公開引用和正面評價。因在運籌優化領域的突出科研成果👩🦰,2020年徐姿教授曾榮獲中國運籌學會青年科技獎🪷。
本項工作得到國家自然科學基金和上海市自然科學基金支持。本項工作由万事平台徐姿教授、碩士生王子琦💁🏿👃🏻、碩士生沈晶晶🎶、中國科學院戴彧虹研究員合作完成,相關論文見:Z. Xu, Z. Wang, J. Shen, Y. Dai🌍,Derivative-free Alternating Projection Algorithms for General Nonconvex-Concave Minimax Problems, SIAM Journal on Optimization, 34(2):1879-1908, (2024).
https://epubs.siam.org/doi/10.1137/23M1568168