最近朋友前小伙伴都已经传播疯了的谷歌翻译，实现了令人惊艳的性能。这里的技术核心，就是RNN-我们常说的传说中的循环神经网络。RNN可以称得上是深度学习未来最有前景的工具之一。你想了解它的威力的根源吗？你想知道一些最新的RNN应用?请看下文。
为什么RNN会有如此强大的效力？让我们从基础学起。首先，要看RNN和对于图像等静态类变量处理立下神功的卷积网络CNN的结构区别来看，“循环”两个字，已经点出了RNN的核心特征，即系统的输出会保留在网络里，和系统下一刻的输入一起共同决定下一刻的输出。这就把动力学的本质体现了出来，循环正对应动力学系统的反馈概念，可以刻画复杂的历史依赖。另一个角度看也符合著名的图灵机原理。
即此刻的状态包含上一刻的历史，又是下一刻变化的依据。这其实包含了可编程神经网络的核心概念，即，当你有一个未知的过程，但你可以测量到输入和输出，你假设当这个过程通过RNN的时候，它是可以自己学会这样的输入输出规律的，而且因此具有预测能力。在这点上说，RNN是图灵完备的。
图：图1即CNN的架构，图2到5是RNN的几种基本玩法。图2是把单一输入转化为序列输出，例如把图像转化成一行文字。图三是把序列输入转化为单个输出，比如情感测试，测量一段话正面或负面的情绪。图四是把序列转化为序列，最典型的是机器翻译，注意输入和输出的“时差”。图5是无时差的序列到序列转化，比如给一个录像中的每一帧贴标签。图片来源TheunreasonableeffectiveRNN。
我们用一段小巧的python代码让你重新理解下上述的原理：
classRNN:
#...
defstep(self,x):
#updatethehiddenstate
self.h=np.tanh(np.dot(self.W_hh,self.h)+np.dot(self.W_xh,x))
