2016-10-25

RNN

文章目录

参数共享
RNN
RNN Forward
RNN BPTT
长期依赖
LSTM
1. 长期依赖
2. 逐步解析
参考文献

一般我们用CNN来提取特征, 但是在现实生活中有很多的数据是基于时间序列的, 比如语音识别, 机器翻译等任务, 下面我们介绍一种处理序列数据的神经网络RNN, LSTM可以看做是一种特殊的RNN

参数共享

参数共享使得模型能够扩展到不同形式的样本并进行泛化, 在CNN中我们认为图像在局部区域是具有相关性的, 基于这样的假设我们进行参数共享, 在RNN中, 我们假设在一个序列中相同的信息会在不同的位置出现, 这是RNN中参数共享的条件, 在现实生活中这两种假设都是成立的.

RNN

RNN叫做循环神经网络, 如下图所示, 循环结构有效的保存了历史信息

在循环神经网络中, $x$为输入向量

RNN输入到隐藏的连接由权重矩阵$ U $参数化
隐藏到隐藏的循环连接由权重矩阵$ W $参数化
隐藏到输出的连接由权重矩阵$ V $参数化

注意,

在RNN的训练过程中，RNN的参数被所有的时间点所共享, 这主要是说明RNN中的每一步都在做相同的事，只是输入不同，因此大大地降低了网络中需要学习的参数

RNN的数学定义如下: 在$t$时刻, RNN的输入是$I(t)$, 输出是$y(t)$, 隐藏层的状态为$s(t)$, 隐藏层的输入为$x(t)$,

$$
x(t)=I(t)+s(t-1)\\
s_j(t)=f(\sum_{i}{x_i(t)u_{ji}})\\
y_k(t)=g(\sum_{j}{s_j(t)v_{kj}})
$$

其中:

$f$为sigmoid激活函数: $$f(z)=\frac{1}{1+e^{-z}}$$

$g$为softmax函数: $$g(z_m) = \frac{e^{z_m}}{\sum_k{e^{z_k}}}$$

RNN Forward

输入层->隐藏层:

$$
net_j(t)=\sum_{i}^Nx_i(t)u_{ji}+\sum_{h}^Ms_h(t-1)w_{jh}+\theta_j \\
s_j(t)=f(net_j(t))
$$

隐藏层->输出层:

$$
net_k(t)=\sum_{j}^Ms_j(t)v_{kj}+\theta_k \\
y_k(t)=g(net_k(t))
$$

RNN BPTT

BPTT是BackPropagation Through Time的缩写, 是基于时间序列的后向优化算法, 为了衡量序列的误差函数我们定义SSE(summed squared error)作为代价函数, 我们的优化目标就是代价函数最小

代价函数

$$
C=\frac{1}{2}\sum_l^P\sum_k^O(d_{lk}-y_{lk})^2
$$

我们基于SSD作为优化函数:

输出单元的误差:

$$
\delta_{lk}=-\frac{\partial C}{\partial net_{lk}}=-\frac{\partial C}{\partial y_{lk}}\frac{\partial y_{lk}}{\partial net_{lk}}=(d_{lk}-y_{lk})g’(y_{lk})
$$

隐藏单元的误差:

$$
\delta_{lj}=-(\sum_k^O\frac{\partial C}{\partial y_{lk}}\frac{\partial y_{lk}}{\partial net_{lk}}\frac{\partial net_{lk}}{\partial s_{lj}})\frac{\partial s_{lj}}{\partial net_{lj}}=\sum_k^O\delta_{lk}v_{kj}f’(net_{lj})
$$

激活函数的反向求导:

sigmoid的函数:

$$
f(net)=\frac{1}{1+e^{-net}}\\
f’(net)=f(net){1-f(net)}
$$

softmax函数:

$$g(net_k)=\frac{e^{net_k}}{\sum_k^Oe^{net_k}} $$

$$ g’(net_k)=\frac{e^{net_k}(\sum_j^Oe^{net_j}-e^{net_k})}{(\sum_j^Oe^{net_j})^2} $$

梯度下降

在梯度下降法中, 代价函数和权值的关系是:

$$\Delta w=-\eta \frac{\partial C}{\partial w}$$

其中, $\eta$是学习率, $C$是代价函数, $w$为权值矩阵

输入到隐藏层:

$$\Delta u_{ji}=-\eta \frac{\partial C}{\partial u_{ji}}=\eta \sum_l^P\delta_{lj}x_{li}$$

隐藏层到输出层:

$$\Delta v_{kj}=-\eta \frac{\partial C}{\partial v_{kj}}=\eta \sum_l^P(-\frac{\partial C}{\partial net_{lk}})\frac{\partial net_{lk}}{\partial v_{kj}}=\eta \sum_l^P\delta_{lk}\frac{\partial net_{lk}}{\partial v_{kj}}=\eta \sum_l^P\delta_{lk}s_{lj}$$

隐藏层到隐藏层:

$$\Delta w_{jh}=-\eta \frac{\partial C}{\partial w_{jh}}=\eta \sum_l^P\delta_{lj}s_{(l-1)h}$$

在循环神经网络中, 由于神经元的状态信息是递归传递的, 为了在反向传播时获取历史状态信息, 我们将按照时间序列将RNN展开计算, 这个过程叫Unfolding

$$
\delta_{lj}(t-1)=-\frac{\partial C}{\partial s_{lj(t-1)}}=-\sum_h^M\frac{\partial C}{\partial s_{lh}}\frac{\partial s_{lh}}{\partial s_{lj}(t-1)}\\
=(-\sum_h^M\frac{\partial C}{\partial s_{lh}})(\frac{\partial s_{lh}}{\partial s_{lj}(t-1)})(\frac{\partial s_{lj}(t-1)}{\partial s_{lj}(t-1)})\\
=\sum_h^M\delta_{lh}(t)w_{hj}f’(s_{lj}(t-1))
$$

权值更新

输入层->隐藏层:

$$u_{ji}(t+1)=u_{ji}(t)+\eta \sum_z^T\sum_l^P\delta_{lj}(t-z)x_{li}(t-z)$$

隐藏层-> 隐藏层:

$$w_{jh}(t+1)=w_{jh}(t)+\eta \sum_z^T\sum_l^P\delta_{lj}(t-z)s_{(l-1)h}(t-z)$$

隐藏层-> 输出层:

$$v_{kj}(t+1)=v_{kj}(t)+\eta \sum_l^P\delta_{lk}s_{lj}$$

由此看见BPTT是基于时间步骤的后向传播算法

BackPropagation Through Time
A guide to recurrent neural networks and backpropagation

长期依赖

如上图所示, 如果我们在很近的一个上下文中试着预测the clouds are in the sky, 我们并不需要其他的上下文, 因为在这种语境下sky的概率是很大的

如上图所示, 假设我们试着去预测I grew up in France... I speak fluent French最后的词。当前的信息建议下一个词可能是一种语言的名字，但是如果我们需要弄清楚是什么语言，我们是需要先前提到的离当前位置很远的France的上下文的。在这个间隔不断增大时，RNN会丧失学习到连接如此远的信息的能力。

出现长期依赖的本质是因为隐含层的连乘导致权值矩阵过小或者过大, 就会引起梯度消失或者梯度爆炸, 这都会导致历史信息无法传递