GoogLeNet的特点是提升了计算资源的利用率，可以在保持网络计算资源不变的前提下，通过工艺上的设计来增加网络的宽度和深度，基于Hebbian法则和多尺度处理来优化性能。 在深度学习中, 提升网络性能最直接的办法就是增加网络深度和宽度, 这也就意味着巨量的参数。但是, 巨量参数容易产生过拟合也会大大增加计算量。

CNN高层特征其实是低层特征通过某种运算的组合, 至于这个运算的目的就是提取高维特征, 线性卷积层采用的是离散卷积运算, 那么能不能改进这个运算使得特征提取更加高效呢, 基于这种思想, 文章提出在每个局部感受野中进行更加复杂的运算，提出了对卷积层的改进算法：MLP卷积层

VGG和GoogLenet这两个模型结构有一个共同特点是Go deeper。跟GoogLenet不同的是，VGG继承了LeNet以及AlexNet的一些框架，尤其是跟AlexNet框架非常像，VGG也是5个group的卷积、2层fc图像特征、一层fc分类特征。根据前5个卷积group，每个group中的不同配置，VGG论文中给出了A~E这五种配置，卷积层数从8到16递增。

关于Alexnet的介绍, 我们在 CNNs的扩展阅读里简单的讲过了, 下面我们要用Caffe真正的实践一下Alexnet, 并且关于网络中的一些知识点进行讲解

这篇博客是 Caffe中国优化社区的 Caffe Tutorial 中文版 使用笔记, 介绍在使用Caffe过程中的问题与心得, 这篇文章不会过多介绍Caffe框架本身, 更多的是使用方法

参考 cs231n的课程笔记ConvNet notes来入门一下卷积神经网络

上一篇介绍了神经网络的基本知识, 这篇文章将cs231n课程中关于神经网络的 course notes2和course notes3的有关知识记录下来, 介绍了构建神经网络的整个过程, 包括数据的预处理，参数初始化, 正则化和损失函数, 以及神经网络训练和搜索最优超参数等知识。

在介绍完梯度下降法之后, 开始正式进入神经网络的介绍, 这篇笔记依然参考cs231n的course notes1, 从神经网络的基本原理到如何训练优化模型, 其中有很多的衍生方法和训练技巧, 也有编程方面的一些注意事项

在介绍了梯度下降法进行模型优化的思想之后, 在介绍神经网络之前, 我们需要对反向传播算法有一个直观的理解, 因为在神经网络中, 包含大量的函数嵌套的前向运算, 在利用梯度下降法求导的时候, 通常需要链式法则来进行微分项的计算

在SVM and Softmax那篇文章中, 我们知道模型最主要的两个模块, 评分函数和代价函数, 我们通过代价函数来表征真实值与模型预测值之间的差异, 当然我们只知道和真实值相差多少是不够的, 我们还要不断的更改模型参数$W$, 使得差异越来越小, 这个过程就是最优化, 这篇文章介绍最优化方法中广泛使用的梯度下降法

斯坦福大学李飞飞团队的公开课CS231n- Convolutional Neural Networks for Visual Recognition, 这篇文章介绍了课程笔记中的线性模型,SVM和Softmax的基本原理, 对应的assignment1中的代码实现见Github