網(wǎng)站制作

最優(yōu)化方法復(fù)習(xí)筆記（四）擬牛頓法與SR1,DFP,BFGS三種擬牛頓算法的推導(dǎo)與代碼實(shí)現(xiàn)

更新時(shí)間：2025-01-10 16:26:41

上一章傳送門：已提供

經(jīng)過(guò)一周的忙碌，我終于迎來(lái)了輕松的生活，可以盡情享受咸魚般的悠閑時(shí)光。

擬牛頓法概述：在上一節(jié)中，我們討論了牛頓法的局限性，特別是Hessian矩陣的計(jì)算和存儲(chǔ)需求。為解決這一問(wèn)題，擬牛頓法提出了一種近似Hessian矩陣的方法，僅使用迭代點(diǎn)的梯度信息進(jìn)行迭代。

關(guān)鍵概念：我們通過(guò)近似求得迭代點(diǎn)處的Hessian矩陣近似值，記為\(B_k\)，目標(biāo)是使其能較好地近似第\(k\)步的Hessian矩陣。這使得迭代形式為\(x_{k+1} = x_k - B_k^{-1}g_k\)，其中\(g_k\)表示梯度。

迭代過(guò)程：通過(guò)某種映射更新\(B_k\)，使得\(B_k\)能近似第\(k\)步的Hessian矩陣。此外，考慮到計(jì)算Hessian矩陣和其逆矩陣的困難，我們直接近似Hessian矩陣的逆矩陣，記為\(B_k\)。

擬牛頓法框架：在確定\(B_k\)的更新規(guī)則后，可大致寫出擬牛頓法的算法流程。為避免復(fù)雜度，可以引入步長(zhǎng)因子，形成阻尼擬牛頓法。

最速下降法解釋：從另一個(gè)角度看問(wèn)題，擬牛頓法本質(zhì)上是尋找在某個(gè)特定方向上的最速下降路徑。通過(guò)Taylor展開和約束條件，我們可以推導(dǎo)出擬牛頓法的迭代方向。

SR1算法：SR1（Symmetric Rank-One）算法是William C. Davidon于1956年提出的一種擬牛頓法。其迭代更新式為\(B_k = B_{k-1} + \frac{y_ky_k^T}{y_k^Ty_k} - \frac{B_{k-1}x_kx_k^T}{x_k^TB_{k-1}x_k}\)，其中\(y_k = g_k - B_{k-1}x_k\)。

DFP算法：DFP（Davidon-Fletcher-Powell）算法是第一個(gè)公認(rèn)的擬牛頓法，其迭代更新式為\(B_k = (I - \alpha_ky_kx_k^T)B_{k-1}(I - \alpha_kx_ky_k^T) + \alpha_kx_kx_k^T\)，其中\(y_k = g_k - B_{k-1}x_k\)。

BFGS算法：BFGS算法在迭代更新式上與DFP類似，但通過(guò)逆矩陣的更新實(shí)現(xiàn)了更高效的操作，更新式為\(B_k = B_{k-1} + \frac{y_ky_k^T - B_{k-1}x_kx_k^TB_{k-1}}{x_k^TB_{k-1}x_k}\)。

SR1、DFP、BFGS之間的關(guān)系：通過(guò)求解特定優(yōu)化問(wèn)題，可以發(fā)現(xiàn)這三個(gè)算法在迭代更新式上存在對(duì)稱性，且存在互為對(duì)偶的關(guān)系。

實(shí)現(xiàn)擬牛頓法（Python）：利用scipy.optimize子庫(kù)實(shí)現(xiàn)SR1、DFP、BFGS算法，通過(guò)觀察迭代點(diǎn)下降情況和可視化結(jié)果，驗(yàn)證算法的有效性。

總結(jié)：本文詳細(xì)介紹了擬牛頓法的基本原理、具體算法（SR1、DFP、BFGS）以及代碼實(shí)現(xiàn)，旨在提供一種高效求解優(yōu)化問(wèn)題的替代方法，適用于高維數(shù)據(jù)的優(yōu)化場(chǎng)景。

標(biāo)簽：最優(yōu)化方法復(fù)習(xí)筆記四擬牛頓法與sr1 dfp bfgs三種擬牛頓算法的推導(dǎo)與代碼實(shí)現(xiàn)

上一篇：跨境小白如何運(yùn)營(yíng)獨(dú)立站

下一篇：凸優(yōu)化筆記15：梯度下降法

国产精品高清免费在线视频-亚洲精品午夜福利一区-91成人精品国产免费男男-噼里啪啦日本一区二区

首頁(yè)

網(wǎng)站制作

關(guān)于

服務(wù)

聯(lián)系我們

與我們合作

您也可通過(guò)下列途徑與我們?nèi)〉寐?lián)系：

最優(yōu)化方法復(fù)習(xí)筆記（四）擬牛頓法與SR1,DFP,BFGS三種擬牛頓算法的推導(dǎo)與代碼實(shí)現(xiàn)