近日，數(shù)學(xué)與統(tǒng)計(jì)學(xué)院劉勇進(jìn)教授和他的博士生方升以及南方科技大學(xué)理學(xué)院張進(jìn)教授團(tuán)隊(duì)合作完成的論文“Sheng Fang, Yong-Jin Liu, Wei Yao, Chengming Yu, Jin Zhang, qNBO: Quasi-Newton meets bilevel optimization”在深度學(xué)習(xí)領(lǐng)域的頂級會(huì)議International Conference on Learning Representations（簡稱ICLR）被成功接收發(fā)表。

雙層規(guī)劃問題（Bilevel Optimization，BLO）廣泛應(yīng)用于機(jī)器學(xué)習(xí)中的分層優(yōu)化任務(wù)，但由于其復(fù)雜性，尤其是在大規(guī)模和高維數(shù)據(jù)背景下的求解面臨諸多挑戰(zhàn)。該論文提出了一種新穎的算法框架—qNBO用于解決雙層規(guī)劃問題。qNBO通過結(jié)合擬牛頓算法，既加速了下層問題的求解，又高效地近似了逆Hessian矩陣與梯度的乘積。通過這種創(chuàng)新的算法設(shè)計(jì)，qNBO有效克服了傳統(tǒng)梯度下降法中的關(guān)鍵難點(diǎn)。數(shù)值實(shí)驗(yàn)表明，qNBO在超參數(shù)優(yōu)化、數(shù)據(jù)清理和少樣本元學(xué)習(xí)等實(shí)際任務(wù)中，展現(xiàn)出了比現(xiàn)有方法更優(yōu)越的性能。

據(jù)悉，ICLR（國際學(xué)習(xí)表征會(huì)議）是深度學(xué)習(xí)領(lǐng)域最具影響力的國際會(huì)議之一，專注于深度學(xué)習(xí)及其相關(guān)應(yīng)用的前沿研究，涵蓋人工智能、統(tǒng)計(jì)學(xué)與數(shù)據(jù)科學(xué)、機(jī)器視覺、語音識(shí)別、文本理解等多個(gè)重要應(yīng)用領(lǐng)域，發(fā)布了許多極具影響力的論文。ICLR采用公開評審制度，任何研究者均可參與論文評審討論，這種透明的評審過程使得論文的接收難度大大增加。