Hessian Free Optimization(optional)

ICML_2010_Deep learning via Hessian-free optimization

这一章的内容属于可选章节,因为hessian free这个东西很数学化了,不一定要完全理解,完全属于了解一下,以后如果需要可以深入研究。

首先了解一下什么叫hessian矩阵,其实Jacobian矩阵就是 一阶导数矩阵,其目的很明显,就是求曲线的极值点,而hessian矩阵就是二阶偏导矩阵,它的motivation就是,二阶导数的零点就是一阶导数的极值点,比如在信号处理中,一阶导数的极值点说明信号变换最剧烈,它描述的其实是变化程度。具体的还是得google吧,网上资料很多。

1. A brief overview of Hessian Free Optimization
问题描述:如果一个误差平面是椭圆的,那么事实上最好的减小误差的方向并不是梯度方向,而在于梯度和曲率的比例。

接下来Hinton讲解了一个RNN运用HF方法在language model上的一个例子,其中还讲到了multiplicative connectionecho state network这两个trick,因为我是做图像的,所以对language model不熟悉,所以就不细看了,毕竟本来实力就不足,还是术业有专攻比较好,有希望了解的请自己看coursera上的视频吧。