RNN

一般我们用CNN来提取特征, 但是在现实生活中有很多的数据是基于时间序列的, 比如语音识别, 机器翻译等任务, 下面我们介绍一种处理序列数据的神经网络RNN, LSTM可以看做是一种特殊的RNN

Deep Residual Network

前面的VGG和GoogLeNet都证明了网络Go Deeper使得效果变好, 提出一种residual learning的框架,能够大大简化模型网络的训练时间,使得在可接受时间内,模型能够更深(152甚至尝试了1000),该方法在ILSVRC2015上取得最好的成绩。

Optimization in Solver

在Deep Learning中,往往loss function是非凸的,没有解析解,我们需要通过优化方法来求解。solver的主要作用就是交替调用前向(forward)算法和后向(backward)算法来更新参数,从而最小化loss,实际上就是一种迭代的优化算法。

时间味觉

有时候我突然感觉,时间的流逝是乍然的,是那种你一下子恍过神儿来就消失的感觉,是一种特别荒谬的感觉,于是开始害怕庸碌这一生。