带动量的随机梯度（Momentum SGD）下降法常用于加速优化损失函数，在图像分类等问题中应用广泛。假定损失函数为J(θ)，那么带动量的随机梯度下降的对θ更新正确表达是，

单选题

$\begin{aligned} v_{t} &=\gamma v_{t-1}+\eta \nabla_{\theta} J(\theta) \\ \theta &=\theta-v_{t} \end{aligned}$

$\begin{aligned} v_{t} &=\gamma v_{t-1}+\eta \nabla_{\theta} J\left(\theta-\gamma v_{t-1}\right) \\ \theta &=\theta-v_{t} \end{aligned}$

$\begin{aligned} m_{t} &=\beta_{1} m_{t-1}+\left(1-\beta_{1}\right) g_{t} \\ v_{t} &=\beta_{2} v_{t-1}+\left(1-\beta_{2}\right) g_{t}^{2} \\ \hat{m}_{t} &=\frac{m_{t}}{1-\beta_{1}^{t}} \\ \hat{v}_{t} &=\frac{v_{t}}{1-\beta_{2}^{t}} \\ \theta_{t+1} &=\theta_{t}-\frac{\eta}{\sqrt{\hat{v}_{t}}+\epsilon} \hat{m}_{t} \end{aligned}$

$\theta=\theta-\eta \cdot \nabla_{\theta} J(\theta)$

上一题

[单选题] 下面的语句，哪个与其他的执行次数不一样？（）

下一题

[单选题] 下列关于KL散度（相对熵）说法正确的是：

纠错

题目信息

校招真题

正确率

点击

收藏已收藏

错题本已加入错题本

我的笔记

登录添加笔记