1、梯度下降法简介
梯度下降法(英语:Gradient descent)是一个一阶最优化算法,通常也称为最速下降法。 要使用梯度下降法找到一个函数的局部极小值,必须向函数上当前点对应梯度(或者是近似梯度)的反方向的规定步长距离点进行迭代搜索。如果相反地向梯度正方向迭代进行搜索,则会接近函数的局部极大值点;这个过程则被称为梯度上升法。
2、梯度下降法原理介绍
![](http://www.hbase.cn/usr/uploads/2024/06/501618024.png)
3、梯度下降法举例说明
梯度下降算法在机器学习与神经网络中有广泛的应用,主要用来求最优参数,本文通过一个最简单的例子来演示梯度下降算法过程
举例:y = x ^ 2 ,通过梯度下降算法求y取最小值(极小值)时候的最优解x,求解过程主要通过迭代完成
迭代的方程为:x = x - y'(x) * α
其中:
(1)x为要求的解,y'(x)为梯度(也就是导数或偏导,我们在这里用最简单的一元函数演示,所以直接写成导数)
(2)α为学习率(或称步长,是一个重要的参数,α的选择直接影响这着算法的效率)
算法过程如下所示:
1、首先任取一点,我们取x = 3,计算其导数y'(x) = 6
2、我们设定学习率为α = 0.4
3、开始算法的迭代:
(1)x = 3,y'(x) = 6,x = x - y'(x) * α = 0.6
(2)x = 0.6,y'(x) = 1.2,x = x - y'(x) * α = 0.12
(3)x = 0.12,y'(x) = 0.24,x = x - y'(x) * α = 0.024
(4)x = 0.024,y'(x) = 0.048,x = x - y'(x) * α = 0.0048
。。。
4、当梯度(导数)下降到很小或为0时,则求得的解x趋向最优解,比如本例中迭代到第四步时y'(x) = 0.048已经非常小了,x = 0.0048基本趋向于本例的真正解x = 0
4、梯度下降法效果演示
![](http://www.hbase.cn/usr/uploads/2024/06/1503449135.gif)