網(wǎng)站制作NEWS
SCROLL
優(yōu)化 | 非線性優(yōu)化方法的總結(jié)——approximation
本文由鄧康康博士撰寫(xiě)，福州大學(xué)應(yīng)用數(shù)學(xué)系在讀，專注于運(yùn)籌優(yōu)化算法設(shè)計(jì)與應(yīng)用、流形優(yōu)化。本文從"approximation"的視角探討非線性優(yōu)化方法，強(qiáng)調(diào)迭代方法的核心思想——將復(fù)雜問(wèn)題簡(jiǎn)化為一系列易解問(wèn)題。
鄧博士強(qiáng)調(diào)，迭代算法的本質(zhì)是不斷逼近，通過(guò)拆解難題為一系列簡(jiǎn)單問(wèn)題。他將優(yōu)化方法劃分為多個(gè)類別，包括確定性方法、隨機(jī)方法、一階與二階方法，以及光滑與非光滑的區(qū)別。例如，方差削減類隨機(jī)方法試圖在隨機(jī)性和方差控制間找到平衡，如SGD、批量梯度和SVRG等。
他還提到了臨近類方法和算子分裂，如梯度方法的forward iteration與臨近點(diǎn)的backward iteration相結(jié)合的臨近梯度法。此外，他還提到了泰勒展開(kāi)在優(yōu)化中的核心作用，它為理解眾多方法提供了工具。
總的來(lái)說(shuō)，非線性優(yōu)化方法的多樣性和靈活性源于對(duì)問(wèn)題的不斷逼近和近似，每種方法都是在尋求更高效、更精確的解決方案。鄧博士鼓勵(lì)讀者進(jìn)行討論和交流，同時(shí)歡迎指出可能存在的疏漏和錯(cuò)誤。
多重隨機(jī)標(biāo)簽