关于Deep Learning in Neural Networks: An Overview的粗糙翻译和个人理解
摘要：
近年来，深度人工神经网络赢得了大量模式识别与机器学习方面的比赛。这篇历史考察简要地总结了神经网络的相关工作，其中很多内容来自2000年之前。学习的深浅依据其CAP的深度来区分，即行为与影响之间的可学习链和因果联系的深度
停一下
- 什么是CAP(credit assignment paths)
CAP: Credit Assignment Path (字面上翻译成信用分配路径，wiki: A chain of transformations from input to output is a credit assignment path (CAP). CAPs describe potentially causal connections between input and output and may vary in length. For a feedforward neural network, the depth of the CAPs, and thus the depth of the network, is the number of hidden layers plus one (the output layer is also parameterized). For recurrent neural networks, in which a signal may propagate through a layer more than once, the CAP is potentially unlimited in length. There is no universally agreed upon threshold of depth dividing shallow learning from deep learning, but most researchers in the field agree that deep learning has multiple nonlinear layers (CAP > 2) and Schmidhuber considers CAP > 10 to be very deep learning)
CAP即输入到输出间的转换链(比如神经网络的神经元之间的输入输出转换？),CAPs描述了输入输出间可能的因果关系，并且长度有可能发生变化。对于一个前向反馈神经网络，其CAPs的深度，也即这一网络深度是其隐层数加一。对于递归神经网络，由于信号可能多次经过某个隐层，其CAPs有可能无限长。对于区分浅学习和深度学习的CAPs深度界限是多大并没有一个被普遍接受的结论，但这一领域的绝大多数研究者同意深度学习具有多元非线性的隐层（？？？），并且Schmidhuber认为CAP大于10就已经是非常深的深度学习了。
接着说
作者回顾了深度监督学习（包括反向传播的历史），无监督学习，强化学习和进化算法，以及and indirect search for short programs encoding deep and large networks.(这里不太理解，留待后续补充)
前言
（写作目的之类的介绍，暂且略过）
对神经网络(NNs)中的深度学习(DL)的介绍
对于一个学习系统而言，决定其成功与否的可调节要素是什么？对它的何种调整可以提升其性能？这两个问题被称之为fundamental credit assignment problem. There are general credit assignment methods for universal problem solvers that are time-optimal in various theoretical senses (Sec. 6.8).然而目前的研究主要关注更窄但更有商业价值的领域：人工神经网络中的深度学习子领域。
一个标准的NN包含许多简单的相互连接的神经元，分别产生一系列的激活值。输入神经元由传感器对环境的感知而激活，其他的神经元通过带权重的连接被前一个神经元激活。某些神经元可以通过触发行为影响环境。Learning or credit assignment是寻找恰当的权重使NN表现出期望的行为，如驾驶汽车。对于不同的问题和神经元的连接方式，这种行为可能需要很长的causal chains of computational stages。DL通过很长的这种阶来精确求解。
20世纪80年代发现BP算法对隐层较多的神经网络而言是难以实现的，在1991年，通过无监督学习的帮助，DL在一定范围内是可以实现的。从2009年起，有监督DNN在很多官方模式识别比赛中获得惊人成绩，取得广泛关注。DNN也在其他更广泛的领域中发挥了重要作用。
Event-Oriented Notation for Activation Spreading in NNs
在这篇论文中，i, j, k, t, p, q, r表示假定的取值范围已经在上下文中给出的正整数变量，n, m, T表示未给出的正整数变量。
一个神经网络的拓扑结构可能随时间而改变。在给定的时刻，其结构可以描述为一个有限的单元(节点或者神经元)集合 N={u_1,u_2,…,}和一个节点间有向边构成的集合H。