Deep Residual Network

前面的VGG和GoogLeNet都证明了网络Go Deeper使得效果变好, 提出一种residual learning的框架,能够大大简化模型网络的训练时间,使得在可接受时间内,模型能够更深(152甚至尝试了1000),该方法在ILSVRC2015上取得最好的成绩。

Optimization in Solver

在Deep Learning中,往往loss function是非凸的,没有解析解,我们需要通过优化方法来求解。solver的主要作用就是交替调用前向(forward)算法和后向(backward)算法来更新参数,从而最小化loss,实际上就是一种迭代的优化算法。

时间味觉

有时候我突然感觉,时间的流逝是乍然的,是那种你一下子恍过神儿来就消失的感觉,是一种特别荒谬的感觉,于是开始害怕庸碌这一生。

GoogLeNet

GoogLeNet的特点是提升了计算资源的利用率,可以在保持网络计算资源不变的前提下,通过工艺上的设计来增加网络的宽度和深度,基于Hebbian法则和多尺度处理来优化性能。 在深度学习中, 提升网络性能最直接的办法就是增加网络深度和宽度, 这也就意味着巨量的参数。但是, 巨量参数容易产生过拟合也会大大增加计算量

Network In Network

CNN高层特征其实是低层特征通过某种运算的组合, 至于这个运算的目的就是提取高维特征, 线性卷积层采用的是离散卷积运算, 那么能不能改进这个运算使得特征提取更加高效呢, 基于这种思想, 文章提出在每个局部感受野中进行更加复杂的运算,提出了对卷积层的改进算法:MLP卷积层

VGGNet

VGG和GoogLenet这两个模型结构有一个共同特点是Go deeper。跟GoogLenet不同的是,VGG继承了LeNet以及AlexNet的一些框架,尤其是跟AlexNet框架非常像,VGG也是5个group的卷积、2层fc图像特征、一层fc分类特征。根据前5个卷积group,每个group中的不同配置,VGG论文中给出了A~E这五种配置,卷积层数从8到16递增。