神经网络

神经网络优缺点，优点：（1）具有自学习功能。例如实现图像识别时，只在先把许多不同的图像样板和对应的应识别的结果输入人工神经网络，网络就会通过自学习功能，慢慢学会识别类似的图像。自学习功能对于预测有特别重要的意义。预期未来的人工神经网络计算机将为人类提供经济预测、市场预测、效益预测，其应用前途是很远大的。（2）具有联想存储功能。用人工神经网络的反馈网络就可以实现这种联想。（3）具有高速寻找优化解的能力。寻找一个复杂问题的优化解，往往需要很大的计算量，利用一个针对某问题而设计的反馈型人工神经网络，发挥计算机的高速运算能力，可能很快找到优化解。缺点：（1）最严重的问题是没能力来解释自己的推理过程和推理依据。（2）不能向用户提出必要的询问，而且当数据不充分的时候，神经网络就无法进行工作。（3）把一切问题的特征都变为数字，把一切推理都变为数值计算，其结果势必是丢失信息。（4）理论和学习算法还有待于进一步完善和提高。扩展资料：神经网络发展趋势人工神经网络特有的非线性适应性信息处理能力，克服了传统人工智能方法对于直觉，如模式、语音识别、非结构化信息处理方面的缺陷，使之在神经专家系统、模式识别、智能控制、组合优化、预测等领域得到成功应用。人工神经网络与其它传统方法相结合，将推动人工智能和信息处理技术不断发展。近年来，人工神经网络正向模拟人类认知的道路上更加深入发展，与模糊系统、遗传算法、进化机制等结合，形成计算智能，成为人工智能的一个重要方向，将在实际应用中得到发展。将信息几何应用于人工神经网络的研究，为人工神经网络的理论研究开辟了新的途径。神经计算机的研究发展很快，已有产品进入市场。光电结合的神经计算机为人工神经网络的发展提供了良好条件。神经网络在很多领域已得到了很好的应用，但其需要研究的方面还很多。其中，具有分布存储、并行处理、自学习、自组织以及非线性映射等优点的神经网络与其他技术的结合以及由此而来的混合方法和混合系统，已经成为一大研究热点。由于其他方法也有它们各自的优点，所以将神经网络与其他方法相结合，取长补短，继而可以获得更好的应用效果。目前这方面工作有神经网络与模糊逻辑、专家系统、遗传算法、小波分析、混沌、粗集理论、分形理论、证据理论和灰色系统等的融合。参考资料：百度百科-人工神经网络。谷歌人工智能写作项目：神经网络伪原创神经网络的泛化能力差吗？泛化能力，英文全称generalization ability，指机器学习算法对新鲜样本的适应能力，一种预测新的input类别的能力好文案。通过学习找到隐含在数据背后的规律，并对具有同一规律的学习集以外的数据，这种经过训练的网络可以给出合适的输出，该能力就被称为泛化能力。对于神经网络而言，一般越复杂说明该神经网络承受的复杂度越高，描述规律的复杂度容量就越大，当然越好，当然也不是绝对的，但是这能说明一个容器容量的问题，这时该神经网络的泛化能力也越强。我们需要知道结构复杂性和样本复杂性、样本质量、初始权值、学习时间等因素，都会影响神经网络的泛化能力。为了保证神经网络具有较强的泛化能力，人们已做了很多研究，得到了诸多泛化方法，常用的包括剪枝算法、构造算法和进化算法等。人工神经网络的泛化能力主要是由于透过无监督预学习可以从训练集导出高效的特征集。复杂的问题一旦转换成用这些特征表达的形式后就自然变简单了。观念上这个有点像是在做适用于训练集的一种智能化的坐标转换。举例来说，如果训练集是许多人脸的图片，那么预训练做得好的话就能导出如鼻子，眼睛，嘴巴，各种基本脸型等特征。如果做分类时是用这些特征去做而不是基于像素的话，结果自然会好得多。虽然大型的神经网络具有极多的参数，可是由于做分类时其实是基于少数的特征，因此也比较不会产生过拟合的情形。同时，针对神经网络易于陷入局部极值、结构难以确定和泛化能力较差的缺点，引入了能很好解决小样本、非线性和高维数问题的支持向量回归机来进行油气田开发指标的预测。神经网络算法的局限性神经网络算法的局限性是：可以使用均值函数但是这个函数将获取嵌入的平均值，并将其分配为新的嵌入。但是，很容易看出，对于某些不同的图，它们会给出相同的嵌入，所以，均值函数并不是单射的。即使图不同，节点 v 和 v" 的平均嵌入聚合（此处嵌入对应于不同的颜色）将给出相同的嵌入。这里真正重要的是，你可以先用某个函数 f(x) 将每个嵌入映射到一个新的嵌入，然后进行求和，得到一个单射函数。在证明中，它们实际上显式地声明了这个函数 f，这需要两个额外条件，即 X 是可数的，且任何多重集都是有界的。并且事实上，在训练中并没有任何东西可以保证这种单射性，而且可能还会有一些图是 GIN 无法区分的，但WL可以。所以这是对 GIN 的一个很强的假设，如果违反了这一假设，那么 GIN 的性能将受到限制。神经网络算法的普适性是：研究模型的局限性通常更容易获得对模型的洞察。毕竟，网络所不能学到的关于特定特征的知识在应用时独立于训练过程。此外，通过帮助我们理解与模型相关的任务的难度，不可能性结果（impossibility result）有助于得出关于如何选择模型超参数的实用建议。以图分类问题为例。训练一个图分类器需要识别是什么构成了一个类，即在同一个类而非其他类中找到图共享的属性，然后决定新的图是否遵守所学习到的属性。然而，如果可以通过一定深度的图神经网络（且测试集足够多样化）证明上述决策问题是不可能的，那么我们可以确定，同一个网络将不会学习如何正确地对测试集进行分类，这与使用了什么学习算法无关。因此，在进行实验时，我们应该把重点放在比下限更深的网络上。PNN神经网络,BP神经网络,Elman神经网络,ANN神经网络,几种神经网络中哪个容错能力最强？简单介绍人工神经网络和模糊神经网络其实百科介绍的很详细，如“人工神经网络是模拟人脑结构的思维功能，具有较强的自学习和联想功能，人工干预少，精度较高，对专家知识的利用也较少。但缺点是它不能处理和描述模糊信息，不能很好利用已有的经验知识，特别是学习及问题的求解具有黑箱特性，其工作不具有可解释性，同时它对样本的要求较高;模糊系统相对于神经网络而言，具有推理过程容易理解、专家知识利用较好、对样本的要求较低等优点，但它同时又存在人工干预多、推理速度慢、精度较低等缺点，很难实现自适应学习的功能，而且如何自动生成和调整隶属度函数和模糊规则，也是一个棘手的问题。”即保证人工神经网络自身的学习能力下，采用模糊理论解决模糊信号，使神经网络权系数为模糊权，或者输入为模糊量。比如原本神经网络处理的是连续数据（double）不适合求解模糊数据，此时就需要引入模糊理论，来构造适合于求解这类模糊数据的神经网络。深度学习有哪些优点和缺点深度学习的主要优点如下：1：学习能力强深度学习具备很强的学习能力。2：覆盖范围广，适应性好深度学习的神经网络层数很多，宽度很广，理论上可以映射到任意函数，所以能解决很复杂的问题。3：数据驱动，上限高深度学习高度依赖数据，数据量越大，它的表现就越好。在图像识别、面部识别、NLP 等领域表现尤为突出。4：出色的可移植性由于深度学习的优异表现，很多框架都可以使用，而且这些框架可以兼容很多平台。深度学习的缺点：只能提供有限数据量的应用场景下，深度学习算法不能够对数据的规律进行无偏差的估计。为了达到很好的精度，需要大数据支撑。由于深度学习中图模型的复杂化导致算法的时间复杂度急剧提升，为了保证算法的实时性，需要更高的并行编程技巧和更多更好的硬件支持。因此，只有一些经济实力比较强大的科研机构或企业，才能够用深度学习来做一些前沿而实用的应用。BP神经网络的核心问题是什么?其优缺点有哪些?人工神经网络,是一种旨在模仿人脑结构及其功能的信息处理系统,就是使用人工神经网络方法实现模式识别.可处理一些环境信息十分复杂,背景知识不清楚,推理规则不明确的问题,神经网络方法允许样品有较大的缺损和畸变.神经网络的类型很多,建立神经网络模型时,根据研究对象的特点,可以考虑不同的神经网络模型. 前馈型BP网络,即误差逆传播神经网络是最常用,最流行的神经网络.BP网络的输入和输出关系可以看成是一种映射关系,即每一组输入对应一组输出.BP算法是最著名的多层前向网络训练算法,尽管存在收敛速度慢,局部极值等缺点,但可通过各种改进措施来提高它的收敛速度,克服局部极值现象,而且具有简单,易行,计算量小,并行性强等特点,目前仍是多层前向网络的首选算法.多层前向BP网络的优点：网络实质上实现了一个从输入到输出的映射功能，而数学理论已证明它具有实现任何复杂非线性映射的功能。这使得它特别适合于求解内部机制复杂的问题；网络能通过学习带正确答案的实例集自动提取“合理的”求解规则，即具有自学习能力；网络具有一定的推广、概括能力。多层前向BP网络的问题：从数学角度看，BP算法为一种局部搜索的优化方法，但它要解决的问题为求解复杂非线性函数的全局极值，因此，算法很有可能陷入局部极值，使训练失败；网络的逼近、推广能力同学习样本的典型性密切相关，而从问题中选取典型样本实例组成训练集是一个很困难的问题。难以解决应用问题的实例规模和网络规模间的矛盾。这涉及到网络容量的可能性与可行性的关系问题，即学习复杂性问题；网络结构的选择尚无一种统一而完整的理论指导，一般只能由经验选定。为此，有人称神经网络的结构选择为一种艺术。而网络的结构直接影响网络的逼近能力及推广性质。因此，应用中如何选择合适的网络结构是一个重要的问题；新加入的样本要影响已学习成功的网络，而且刻画每个输入样本的特征的数目也必须相同；网络的预测能力（也称泛化能力、推广能力）与训练能力（也称逼近能力、学习能力）的矛盾。一般情况下，训练能力差时，预测能力也差，并且一定程度上，随训练能力地提高，预测能力也提高。但这种趋势有一个极限，当达到此极限时，随训练能力的提高，预测能力反而下降，即出现所谓“过拟合”现象。此时，网络学习了过多的样本细节，而不能反映样本内含的规律由于BP算法本质上为梯度下降法，而它所要优化的目标函数又非常复杂，因此，必然会出现“锯齿形现象”，这使得BP算法低效；存在麻痹现象，由于优化的目标函数很复杂，它必然会在神经元输出接近0或1的情况下，出现一些平坦区，在这些区域内，权值误差改变很小，使训练过程几乎停顿；为了使网络执行BP算法，不能用传统的一维搜索法求每次迭代的步长，而必须把步长的更新规则预先赋予网络，这种方法将引起算法低效。有机化学里的PNN什么意概率神经网络。深度神经网络指的是微软推出了一新款语音识别软件，其工作原理是模仿人脑思考方式，从而使该软件的语音识别速度更快，识别准确率也更高。有机化学是化学的一个分支学科，是研究碳氢化合物及其衍生物的结构、性质和反应的学科。结构的研究包括通过光谱、化学计算和计算机模拟等手段研究化合物的分子结构和晶体结构特征。性质研究包括化合物的物理和化学性质，以及化学反应性的预测。相关文章：

这句话的意思是将输入层与隐含层的权值赋值给inputweights。net.iw{1,1}=W0;输入层和隐层间的权值，net.b{1}=B0输入层和隐层间的阈值net.lw{2,1}=W1;隐层到输出层间的权值，net.b{2}=B1;隐层到输出层间的阈值上面是对三层神经网络而言

　深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。　　多层神经网络是指单计算层感知器只能解决线性可分问题，而大量的分类问题是线性不可分的。克服单计算层感知器这一局限性的有效办法是，在输入层与输出层之间引入隐层（隐层个数可以大于或等于1）作为输入模式“的内部表示”　，单计算层感知器变成多（计算）层感知器。　　补充：　　深度学习的概念由Hinton等人于2006年提出。基于深信度网(DBN)提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法，它利用空间相对关系减少参数数目以提高训练性能。　　深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。

人工智能已经不再遥远，它已经渗透到我们生活中，那么人工智能是啥？它和机器学习、深度学习、神经网络又有什么关系？有什么区别和联系呢？ 神经网络有两种： 讲（人工）神经网络前，得先思考一个问题，人为什么可以思考？是怎么思考的？ 人之所以可以思考，是因为脑细胞中的神经网络(神经元、触点、细胞等组成的网络)，这里指的是生物神经网络，神经网络让人能产生意识，进而思考和行动。 科学家和生物学家们，一直在思考，如何制造出模仿人脑的机器，然后就有了人工神经网络，神经网络是一种仿生物思考的算法模型。 神经网络算法由来已久，自1943年提出神经元模型，沿用至今，下面是神经网络的发展简史，神经网络算法80年代就已经十分成熟，期间也是沉寂多年，到近几年才得以大规模的发展应用。 人工智能的底层模型是"神经网络"（neural network）。机器学习和深度学习都是基于它。 走在人工智能最前沿，应该是google x 实验室，google x lab有很多稀奇古怪的项目，比较出名的当初自动驾驶和机器人。 上图的altas机器人是boston dynamics这个公司，google曾经收购过并成立谷歌机器人部门Replicant，由安卓之父Andy Rubin负责，写安卓都应该知道他了，十分痴迷于研究机器人。 看上去人工智能还离我们很远？ 非也，其实人工智能早已渗透我们的生活，比如抖音、头条，比如siri、小米音响，阿里的鲁班系统（替代设计师画图）。 推荐系统最早应用于电商，国外的亚马逊，国内最开始引入的是豆瓣，头条算是后起之秀，但是应用的如火纯青，最有商业化价值。 抖音的用户粘性0.45，是的没看错。 怎么理解？游戏的粘性为0.3～0.6，众所周知游戏很容易入迷，0.3-0.6的意思就是一个月有9-18天会玩游戏，有13.5天会打开抖音，这个粘性是惊人的。 如slogan所言，你关心的，才是头条。相信很多人都有过，多次卸载头条的经历，因为头条前期模型，也是不断在训练，到后期有足够的数据集才稍具智能，而且推荐系统的弊端是，用户很容易困在信息茧房里，只看自己喜欢的，沉浸在自己的世界里。 头条的用户停留时长也非常高，据不完全统计，说微信+头条占用了网民的1/3使用时长。 推荐算法由来已久，到了近几年才得以发挥，所以数学对人类的发展有多重要，不言而喻。 人工智能、机器学习和深度学习，这三者有什么关系？ 机器学习是一种实现人工智能的丰富，深度学习是一种实现机器学习的技术。 先说关系，神经网络是实现机器学习的一种方式。 实现机器学习还有其它方式： 1、当我们还是婴儿的时候，我们如何认出猫和狗？ 大人告诉我们，狗长这样子，猫长那样子，刚开始我们还是会认错，知道认得多了，不断纠正，我们提取出了猫狗的特征，之后我们就可以一样鉴别了。 机器学习同样如此，当我们给计算机几百分狗的照片，，从图片里提取狗的体征，他得到了足够的数据集训练后，算法模型就成熟了。

由于神经网络是多学科交叉的产物，各个相关的学科领域对神经网络都有各自的看法，因此，关于神经网络的定义，在科学界存在许多不同的见解。目前使用得最广泛的是T.Koholen的定义，即"神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。"如果我们将人脑神经信息活动的特点与现行冯·诺依曼计算机的工作方式进行比较，就可以看出人脑具有以下鲜明特征：1. 巨量并行性。在冯·诺依曼机中，信息处理的方式是集中、串行的，即所有的程序指令都必须调到CPU中后再一条一条地执行。而人在识别一幅图像或作出一项决策时，存在于脑中的多方面的知识和经验会同时并发作用以迅速作出解答。据研究，人脑中约有多达10^(10)～10^(11)数量级的神经元，每一个神经元具有103数量级的连接，这就提供了巨大的存储容量，在需要时能以很高的反应速度作出判断。2. 信息处理和存储单元结合在一起。 在冯·诺依曼机中，存储内容和存储地址是分开的，必须先找出存储器的地址，然后才能查出所存储的内容。一旦存储器发生了硬件故障，存储器中存储的所有信息就都将受到毁坏。而人脑神经元既有信息处理能力又有存储功能，所以它在进行回忆时不仅不用先找存储地址再调出所存内容，而且可以由一部分内容恢复全部内容。当发生"硬件"故障（例如头部受伤）时，并不是所有存储的信息都失效，而是仅有被损坏得最严重的那部分信息丢失。3. 自组织自学习功能。冯·诺依曼机没有主动学习能力和自适应能力，它只能不折不扣地按照人们已经编制好的程序步骤来进行相应的数值计算或逻辑计算。而人脑能够通过内部自组织、自学习的能力，不断地适应外界环境，从而可以有效地处理各种模拟的、模糊的或随机的问题。 神经网络研究的主要发展过程大致可分为四个阶段：1. 第一阶段是在五十年代中期之前。西班牙解剖学家Cajal于十九世纪末创立了神经元学说，该学说认为神经元的形状呈两极，其细胞体和树突从其他神经元接受冲动，而轴索则将信号向远离细胞体的方向传递。在他之后发明的各种染色技术和微电极技术不断提供了有关神经元的主要特征及其电学性质。1943年，美国的心理学家W.S.McCulloch和数学家W.A.Pitts在论文《神经活动中所蕴含思想的逻辑活动》中，提出了一个非常简单的神经元模型，即M－P模型。该模型将神经元当作一个功能逻辑器件来对待，从而开创了神经网络模型的理论研究。1949年，心理学家D.O. Hebb写了一本题为《行为的组织》的书，在这本书中他提出了神经元之间连接强度变化的规则，即后来所谓的Hebb学习法则。Hebb写道："当神经细胞A的轴突足够靠近细胞B并能使之兴奋时，如果A重复或持续地激发B，那么这两个细胞或其中一个细胞上必然有某种生长或代 谢过程上的变化，这种变化使A激活B的效率有所增加。"简单地说，就是 如果两个神经元都处于兴奋状态，那么它们之间的突触连接强度将会得到增强。五十年代初，生理学家Hodykin和数学家Huxley在研究神经细胞膜等效电路时，将膜上离子的迁移变化分别等效为可变的Na+电阻和K+电阻，从而建立了著名的Hodykin-Huxley方程。这些先驱者的工作激发了许多学者从事这一领域的研究，从而为神经计算的出现打下了基础。 2. 第二阶段从五十年代中期到六十年代末。1958年，F.Rosenblatt等人研制出了历史上第一个具有学习型神经网络特点的模式识别装置，即代号为Mark I的感知机（Perceptron），这一重大事件是神经网络研究进入第二阶段的标志。对于最简单的没有中间层的感知机，Rosenblatt证明了一种学习算法的收敛性，这种学习算法通过迭代地改变连接权来使网络执行预期的计算。稍后于Rosenblatt，B.Widrow等人创造出了一种不同类型的会学习的神经网络处理单元，即自适应线性元件Adaline，并且还为Adaline找出了一种有力的学习规则，这个规则至今仍被广泛应用。Widrow还建立了第一家神经计算机硬件公司，并在六十年代中期实际生产商用神经计算机和神经计算机软件。除Rosenblatt和Widrow外，在这个阶段还有许多人在神经计算的结构和实现思想方面作出了很大的贡献。例如，K.Steinbuch研究了称为学习矩阵的一种二进制联想网络结构及其硬件实现。N.Nilsson于1965年出版的《机器学习》一书对这一时期的活动作了总结。 3. 第三阶段从六十年代末到八十年代初。第三阶段开始的标志是1969年M.Minsky和S.Papert所著的《感知机》一书的出版。该书对单层神经网络进行了深入分析，并且从数学上证明了这种网络功能有限，甚至不能解决象"异或"这样的简单逻辑运算问题。同时，他们还发现有许多模式是不能用单层网络训练的，而多层网络是否可行还很值得怀疑。由于M.Minsky在人工智能领域中的巨大威望，他在论著中作出的悲观结论给当时神经网络沿感知机方向的研究泼了一盆冷水。在《感知机》一书出版后，美国联邦基金有15年之久没有资助神经网络方面的研究工作，前苏联也取消了几项有前途的研究计划。但是，即使在这个低潮期里，仍有一些研究者继续从事神经网络的研究工作，如美国波士顿大学的S.Grossberg、芬兰赫尔辛基技术大学的T.Kohonen以及日本东京大学的甘利俊一等人。他们坚持不懈的工作为神经网络研究的复兴开辟了道路。 4. 第四阶段从八十年代初至今。1982年，美国加州理工学院的生物物理学家J.J.Hopfield采用全互连型神经网络模型，利用所定义的计算能量函数，成功地求解了计算复杂度为NP完全型的旅行商问题（Travelling Salesman Problem，简称TSP）。这项突破性进展标志着神经网络方面的研究进入了第四阶段，也是蓬勃发展的阶段。Hopfield模型提出后，许多研究者力图扩展该模型，使之更接近人脑的功能特性。1983年，T.Sejnowski和G.Hinton提出了"隐单元"的概念，并且研制出了Boltzmann机。日本的福岛邦房在Rosenblatt的感知机的基础上，增加隐层单元，构造出了可以实现联想学习的"认知机"。Kohonen应用3000个阈器件构造神经网络实现了二维网络的联想式学习功能。1986年，D.Rumelhart和J.McClelland出版了具有轰动性的著作《并行分布处理-认知微结构的探索》，该书的问世宣告神经网络的研究进入了高潮。1987年，首届国际神经网络大会在圣地亚哥召开，国际神经网络联合会（INNS）成立。随后INNS创办了刊物《Journal Neural Networks》，其他 专业杂志如《Neural Computation》，《IEEE Transactions on NeuralNetworks》，《International Journal of Neural Systems》等也纷纷问世。世界上许多著名大学相继宣布成立神经计算研究所并制订有关教育计划，许多国家也陆续成立了神经网络学会，并召开了多种地区性、国际性会议，优秀论著、重大成果不断涌现。今天，在经过多年的准备与探索之后，神经网络的研究工作已进入了决定性的阶段。日本、美国及西欧各国均制订了有关的研究规划。日本制订了一个"人类前沿科学计划"。这项计划为期15－20年，仅初期投资就超过了1万亿日元。在该计划中，神经网络和脑功能的研究占有重要地位，因为所谓"人类前沿科学"首先指的就是有关人类大脑以及通过借鉴人脑而研制新一代计算机的科学领域。在美国，神经网络的研究得到了军方的强有力的支持。美国国防部投资4亿美元，由国防部高级研究计划局（DAPRA）制订了一个8年研究计划，并成立了相应的组织和指导委员会。同时，海军研究办公室（ONR）、空军科研办公室（AFOSR）等也纷纷投入巨额资金进行神经网络的研究。DARPA认为神经网络"看来是解决机器智能的唯一希望"，并认为"这是一项比原子弹工程更重要的技术"。美国国家科学基金会（NSF）、国家航空航天局（NASA）等政府机构对神经网络的发展也都非常重视，它们以不同的形式支持了众多的研究课题。 欧共体也制订了相应的研究计划。在其ESPRIT计划中，就有一个项目是"神经网络在欧洲工业中的应用"，除了英、德两国的原子能机构外，还有多个欧洲大公司卷进这个研究项目，如英国航天航空公司、德国西门子公司等。此外，西欧一些国家还有自己的研究计划，如德国从1988年就开始进行一个叫作"神经信息论"的研究计划。我国从1986年开始，先后召开了多次非正式的神经网络研讨会。1990年12月，由中国计算机学会、电子学会、人工智能学会、自动化学会、通信学会、物理学会、生物物理学会和心理学会等八个学会联合在北京召开了"中国神经网络首届学术会议"，从而开创了我国神经网络研究的新纪元。

神经网络是一种运算模型，模拟大脑神经网络处理、记忆信息的方式进行信息处理。 . 搜索神经网络经常会看到这种圈、线图。神经网络定义是由大量的节点之间相互联接构成，每个结点代表什么？每条线代表什么？ 上图每个圆圆的圈称之为节点，节点就是对输入数据乘上一定的权重后，进行函数处理。 每两个节点间的连接都代表一个权重，这相当于人工神经网络的记忆。 术语上把上面一个个圆圈叫做 “神经元” ，深入了解这些圈圈的内部构造。 当这些圈圈（神经元）收到数据输入时，经历三个步骤： 输出的结果又可以作为数据进入下一个神经元。 还有一个“偏置”的定义用来完善步骤二，这里就不提了。 · 有时候会遇到这样的神经网络的图，其实就是把上面两种类型图结合起来。 输入数据经过3层神经网络处理后，输出结果。 不同层数可以有不同数量的神经元。 每个神经元都有对应输入值的权值w，以及一个偏置b，还有一个激活函数f。 每个神经元的权重w、偏置b、激活函数f都可以不一样。 所以针对这一特性，当神经元函数采用sigmoid函数时，权重的计算： 其中gj计算如下： 这里y为实际分类，y^为预测分类（神经元f处理结果） 详细计算 . 有一组数据，包含4个样本，每个样本有3个属性，每一个样本对于一个已知的分类结果y。（相当于已知结果的训练样本，4个样本，3个特征） 每个样本有3个属性，对应3个权重，进入神经元训练。第一层采用10个神经元进行处理。 步骤一：输入数据*权重 步骤二：代入函数f中计算 上面加权求和后的数据带入函数，这里使用sigmoid函数。 到这一步一层的神经网络就处理好了，比较预测结果和实际y之间的数值差（上面算法中提到的偏差d）为：-0.009664、0.00788003、0.00641069、-0.00786466，相差不多。 步骤三：完善权重w 一开始的权重是随便设置的，故需要根据公式需要完善权重值。 权重计算结果为-0.62737713，-0.30887831，-0.20651647，三个属性重新赋予合适的权重。

这一年大概是我长这么大最难熬的一年，也是让我成长最多的一年。感谢生活赐予我一场惊慌失措，但愿以后抬头有阳光。关关难过关关过，夜夜难熬夜夜熬，悲喜自渡，他人难悟。悄悄崩溃，默默自愈。

（1）结构：许多树突（dendrite）用于输入，一个轴突 （axon）用于输出。 （2）特性：兴奋性和传导性。兴奋性是指当信号量超过某个阈值时，细胞体就会被激活，产生电脉冲。传导性是指电脉冲沿着轴突并通过突触传递到其它神经元。 （3）有两种状态的机器：激活时为“是”，不激活时为“否”。神经细胞的状态取决于从其他神经细胞接收到的信号量，以及突触的性质（抑制或加强）。（1）神经元——不重要 ① 神经元是包含权重和偏置项的 函数 ：接收数据后，执行一些计算，然后使用激活函数将数据限制在一个范围内（多数情况下）。 ② 单个神经元：线性可分的情况下，本质是一条直线， ，这条直线将数据划分为两类。而线性分类器本身就是一个单层神经网络。 ③ 神经网络：非线性可分的情况下，神经网络通过多个隐层的方法来实现非线性的函数。（2）权重/参数/连接（Weight）——最重要 每一个连接上都有一个权重。一个神经网络的训练算法就是让权重的值调整到最佳，以使得整个网络的预测效果最好。（3）偏置项（Bias Units）——必须 ① 如果没有偏置项，所有的函数都会经过原点。 ② 正则化偏置会导致欠拟合：若对偏置正则化，会导致激活变得更加简单，偏差就会上升，学习的能力就会下降。 ③ 偏置的大小度量了神经元产生激励（激活）的难易程度。（1）定义：也称为转换函数，是一种将输入 (input) 转成输出 (output) 的函数。（2）作用：一般直线拟合的精确度要比曲线差很多，引入激活函数能给神经网络 增加一些非线性 的特性。（3）性质： ① 非线性：导数不是常数，否则就退化成直线。对于一些画一条直线仍然无法分开的问题，非线性可以把直线变弯，就能包罗万象； ② 可微性：当优化方法是基于梯度的时候，处处可导为后向传播算法提供了核心条件； ③ 输出范围：一般限定在[0,1]，使得神经元对一些比较大的输入会比较稳定； ④ 非饱和性：饱和就是指，当输入比较大的时候输出几乎没变化，会导致梯度消失； ⑤ 单调性：导数符号不变，输出不会上蹿下跳，让神经网络训练容易收敛。（1）线性函数 (linear function)—— purelin() （2）符号函数 (sign function)—— hardlim()  ① 如果z值高于阈值，则激活设置为1或yes，神经元将被激活。 ② 如果z值低于阈值，则激活设置为0或no，神经元不会被激活。（3）对率函数 (sigmoid function)—— logsig() ① 优点：光滑S型曲线连续可导，函数阈值有上限。 ② 缺点：❶ 函数饱和使梯度消失，两端梯度几乎为0，更新困难，做不深；                 ❷ 输出不是0中心，将影响梯度下降的运作，收敛异常慢；                 ❸ 幂运算相对来讲比较耗时（4）双曲正切函数(hyperbolic tangent function)—— tansig() ① 优点：取值范围0中心化，防止了梯度偏差 ② 缺点：梯度消失现象依然存在，但相对于sigmoid函数问题较轻（5）整流线性单元 ReLU 函数(rectified linear unit) ① 优点：❶ 分段线性函数，它的非线性性很弱，因此网络做得很深；                 ❷ 由于它的线性、非饱和性， 对于随机梯度下降的收敛有巨大的加速作用； ② 缺点：❶ 当x<0，梯度都变成0，参数无法更新，也导致了数据多样化的丢失；                 ❷ 输出不是0中心（6）渗漏型整流线性单元激活函数 Leaky ReLU 函数 ① 优点：❶ 是为解决“ReLU死亡”问题的尝试，在计算导数时允许较小的梯度；                 ❷ 非饱和的公式，不包含指数运算，计算速度快。 ② 缺点：❶ 无法避免梯度爆炸问题； （没有体现优于ReLU）                 ❷ 神经网络不学习 α 值。（7）指数线性单元 ELU (Exponential Linear Units) ① 优点：❶ 能避免“死亡 ReLU” 问题；                 ❷ 能得到负值输出，这能帮助网络向正确的方向推动权重和偏置变化；                 ❸ 在计算梯度时能得到激活，而不是让它们等于 0。 ② 缺点：❶ 由于包含指数运算，所以计算时间更长；                 ❷ 无法避免梯度爆炸问题； （没有体现优于ReLU）                 ❸ 神经网络不学习 α 值。（8）Maxout（对 ReLU 和 Leaky ReLU的一般化归纳） ① 优点：❶ 拥有ReLU的所有优点（线性和不饱和）                 ❷ 没有ReLU的缺点（死亡的ReLU单元）                 ❸ 可以拟合任意凸函数 ② 缺点 ：参数数量增加了一倍。难训练，容易过拟合（9）Swish ① 优点：❶ 在负半轴也有一定的不饱和区，参数的利用率更大                 ❷ 无上界有下界、平滑、非单调                 ❸ 在深层模型上的效果优于 ReLU每个层都包含一定数量的单元（units）。增加层可增加神经网络输出的非线性。 （1）输入层：就是接收原始数据，然后往隐层送 （2）输出层：神经网络的决策输出 （3）隐藏层：神经网络的关键。把前一层的向量变成新的向量，让数据变得线性可分。（1）结构：仅包含输入层和输出层，直接相连。 （2）作用：仅能表示 线性可分 函数或决策，且一定可以在有限的迭代次数中收敛。 （3）局限：可以建立与门、或门、非门等，但无法建立更为复杂的异或门（XOR），即两个输入相同时输出1，否则输出0。 （“AI winter”） （1）目的：拟合某个函数      （两层神经网络可以逼近任意连续函数） （2）结构：包含输入层、隐藏层和输出层 ，由于从输入到输出的过程中不存在与模型自身的反馈连接，因此被称为“前馈”。    （层与层之间全连接） （3）作用： 非线性 分类、聚类、预测等，通过训练，可以学习到数据中隐含的知识。 （4）局限：计算复杂、计算速度慢、容易陷入局部最优解，通常要将它们与其他网络结合形成新的网络。（5）前向传播算法（Forward Propagation） ① 方法：从左至右逐级依赖的算法模型，即网络如何根据输入X得到输出Y，最终的输出值和样本值作比较， 计算出误差 。 ② 目的：完成了一次正反向传播，就完成了一次神经网络的训练迭代。通过输出层的误差，快速求解对每个ω、b的偏导，利用梯度下降法，使Loss越来越小。 ② 局限：为使最终的误差达到最小，要不断修改参数值，但神经网络的每条连接线上都有不同权重参数，修改这些参数变得棘手。（6）误差反向传播（Back Propagation） ① 原理：梯度下降法求局部极值 ② 方法：从后往前，从输出层开始计算 L 对当前层的微分，获得各层的误差信号，此误差信号即作为修正单元权值的依据。计算结束以后，所要的两个参数矩阵的 梯度 就都有了。 ③ 局限：如果激活函数是饱和的，带来的缺陷就是系统迭代更新变慢，系统收敛就慢，当然这是可以有办法弥补的，一种方法是使用 交叉熵函数 作为损失函数。 （1）原理：随着网络的层数增加，每一层对于前一层次的抽象表示更深入。在神经网络中，每一层神经元学习到的是前一层神经元值的更抽象的表示。通过抽取更抽象的特征来对事物进行区分，从而获得更好的区分与分类能力。 （2）方法：ReLU函数在训练多层神经网络时，更容易收敛，并且预测性能更好。 （3）优点：① 易于构建，表达能力强，基本单元便可扩展为复杂的非线性函数                       ② 并行性号，有利于在分布是系统上应用 （4）局限：① 优化算法只能获得局部极值，性能与初始值相关                       ② 调参理论性缺乏                       ③ 不可解释，与实际任务关联性模糊（1）原理：由手工设计卷积核变成自动学习卷积核（2）卷积（Convolutional layer）： 输入与卷积核相乘再累加 （内积、加权叠加） ① 公式： ② 目的：提取输入的不同特征，得到维度很大的 特征图（feature map） ③ 卷积核：需要训练的参数。一般为奇数维，有中心像素点，便于定位卷积核 ④ 特点：局部感知、参数变少、权重共享、分层提取（3）池化（Pooling Layer）：用更高层的抽象表达来表示主要特征，又称“降采样” ① 分类： 最大 （出现与否）、平均（保留整体）、随机（避免过拟合） ② 目的：降维，不需要训练参数，得到新的、维度较小的特征（4）步长（stride）：若假设输入大小是n∗n，卷积核的大小是f∗f，步长是s，则最后的feature map的大小为o∗o，其中 （5）填充（zero-padding） ① Full模式：即从卷积核（fileter）和输入刚相交开始做卷积，没有元素的部分做补0操作。 ② Valid模式：卷积核和输入完全相交开始做卷积，这种模式不需要补0。 ③ Same模式：当卷积核的中心C和输入开始相交时做卷积。没有元素的部分做补0操作。（7）激活函数：加入非线性特征（8）全连接层（Fully-connected layer） 如果说卷积层、池化层和激活函数层等是将原始数据映射到隐层特征空间（决定计算速度），全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用（决定参数个数）。参考： [1]  神经网络（入门最详细）_ruthy的博客-CSDN博客_神经网络算法入门 [2]  神经网络（容易被忽视的基础知识） - Evan的文章 - 知乎 [3]  人工神经网络——王的机器 [4]  如何简单形象又有趣地讲解神经网络是什么？ - 舒小曼的回答 - 知乎 [5]  神经网络15分钟入门！足够通俗易懂了吧 - Mr.括号的文章 - 知乎 [6]  神经网络——最易懂最清晰的一篇文章_illikang的博客-CSDN博客_神经网络 [7]  直觉化深度学习教程——什么是前向传播——CSDN [8]  “反向传播算法”过程及公式推导（超直观好懂的Backpropagation）_aift的专栏-CSDN [9]  卷积、反卷积、池化、反池化——CSDN [10]  浙大机器学习课程- bilibili.com

神经网络 ：神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。 神经网络中最基本的成分便是 神经元模型 。 M-P神经元模型： 感知机由两层神经元组成，分别为输入层、输出层。 以下是具体过程： 多层神经网络的拓扑结构如图： 如上图可知，多层网络由输入层、隐含层和输出层组成，顶层是输出层，底层是输入层，中间的便是隐含层。隐含层与输出层都具有功能神经元。 多层前馈神经网络的结构需要满足： 1、每层神经元必须与下一层完全互连 2、神经元之间不存在同层连接 3、神经元不可跨层连接 只需包含一个足够多神经元的隐层，就能以任意精度逼近任意复杂度的连续函数 BP神经网络由于学习能力太强大比较荣誉造成过拟合问题，故有两种策略来减缓过拟合的问题： 1、早停：将数据分成训练集和验证集，训练集学习，验证集评估性能，在训练过程中，若训练集的累积误差降低，而验证集的累积误差提高，则终止训练； 2、引入正则化：其基本思想是在误差目标函数中增加一个用于描述网络复杂程度的部分，有如连接权和阈值的平方和： 其中λ∈（0,1）用于对累积经验误差与网络复杂度这两项进行折中，常通过交叉验证法来估计。 神经网络的训练过程可看作一个参数寻优的过程，即寻找到适当的参数使得E最小。于是我们时常会谈及“全局最小”和“局部最小”。 1、全局最小：即全局最小解，在参数空间中，所有其他点的误差函数值均大于该点； 2、局部最小：即局部最小解，在参数空间中，其邻近的点的误差函数值均大于该点。 我们要达到局部极小点，很容易，只要满足梯度为零的点便是了，局部极小点可以有多个，但全局最小点只有一个。显然，我们追求的是全局最小，而非局部极小，于是人们通常采用以下策略来试图“跳出”局部极小，使其接近全局最小： 1、以多组不同参数值初始化多个神经网络，按标准方法训练，在迭代停止后，取其中误差最小的解作为最终参数； 2、使用随机梯度下降（在计算梯度时加入了随机因素），使得在局部最小时，计算的梯度仍可能不为0，从而可能跳出局部极小，继续进行迭代； 3、“模拟退火”技术，在每一步都以一定的概率接受比当前解更差的结果，但接受“次优解”的概率要随着迭代进行，时间推移而逐渐减低以确保算法的稳定。 1、RBF网络 单隐层前馈神经网络 ，使用径向基函数作为隐层神经元激活函数，输出层是对隐层神经元输出的线性组合。RBF网络可表示为： 2、ART网络 竞争型学习 （神经网络中一种常用的 无监督学习 策略）,由 比较层、识别层、识别阈值和重置模块 组成。接收到比较层的输入信号后，识别层神经元相互竞争以产生获胜神经元，最简单的方式就是计算输入向量与每个识别层神经元所对应的模式类代表向量间的距离，距离小者获胜。若获胜神经元对应的代表向量与输入向量间 相似度大于识别阈值 ，则将输入样本归为该代表向量所属类别，网络 连接权 也会进行 更新 以保证后面接收到相似的输入样本时该模式类会计算出更大的相似度，使得这样的样本能够归于一类；如果 相似度不大于识别阈值 ，则 重置模块 会在 识别层 加一个神经元，其 代表向量 就 设置 为当前 输入向量 。 3、SOM网络 竞争型学习的无监督神经网络 ，将高维输入数据映射到低维空间（通常是二维），且保持输入数据在高维空间的拓扑结构。 4、级联相关网络 结构自适应网络 。 5、Elman网络 递归神经网络 。 6、Boltzmann机 基于能量的模型，其神经元分为显层与隐层，显层用于数据输入输出，隐层被理解为数据的内在表达。其神经元皆为布尔型，1为激活，0为抑制。 理论上，参数越多的模型其复杂程度越高，能完成更加复杂的学习任务。但是复杂模型的训练效率低下，容易过拟合。但由于大数据时代、云计算，计算能力大幅提升缓解了训练效率低下，而训练数据的增加则可以降低过拟合风险。 于是如何增加模型的复杂程度呢？ 1、增加隐层数； 2、增加隐层神经元数. 如何有效训练多隐层神经网络？ 1、无监督逐层训练：每次训练一层隐节点，把上一层隐节点的输出当作输入来训练，本层隐结点训练好后，输出再作为下一层的输入来训练，这称为预训练，全部预训练完成后，再对整个网络进行微调。“预训练+微调”即把大量的参数进行分组，先找出每组较好的设置，再基于这些局部最优的结果来训练全局最优； 2、权共享：令同一层神经元使用完全相同的连接权，典型的例子是卷积神经网络。这样做可以大大减少需要训练的参数数目。 深度学习 可理解为一种特征学习或者表示学习，是通过 多层处理 ，逐渐将初始的 低层特征表示 转化为 高层特征表示 后，用 简单模型 即可完成复杂的分类等 学习任务 。

神经网络是机器学习的一个流派。这是现今最火的一个学派。我们在第一讲中，已经知道人学习知识是通过神经元的连接，科学家通过模仿人脑机理发明了人工神经元。技术的进一步发展，多层神经元的连接，就形成了神经网络。那么神经网络是怎么搭建起来的呢？神经元是构建神经网络的最基本单位， 这张图就是一个人工神经元的原理图，非常简单，一个神经元由一个加法器和一个门限器组成。加法器有一些输入，代表从其他神经元来的信号，这些信号分别被乘上一个系数后在加法器里相加，如果相加的结果大于某个值，就「激活」这个神经元，接通到下个神经元，否则就不激活。原理就这么简单，做起来也很简单。今天所有的神经网络的基本单元都是这个。输入信号乘上的系数，我们也叫「权重」，就是网络的参数，玩神经网路就是调整权重，让它做你想让它做的事。 一个神经元只能识别一个东西，比如，当你训练给感知器会「认」数字「8」，你给它看任何一个数字，它就会告诉你，这是「8」还不是「8」。为了让机器识别更多更复杂的图像，我们就需要用更多的神经元。人的大脑由 1000 亿个神经元构成，人脑神经元组成了一个很复杂的三维立体结构。

什么是神经网络如下：神经网络的基本原理是：每个神经元把最初的输入值乘以一定的权重，并加上其他输入到这个神经元里的值（并结合其他信息值），最后算出一个总和，再经过神经元的偏差调整，最后用激励函数把输出值标准化。基本上，神经网络是由一层一层的不同的计算单位连接起来的。我们把计算单位称为神经元，这些网络可以把数据处理分类，就是我们要的输出。神经网络常见的工具：以上内容参考：在众多的神经网络工具中，NeuroSolutions始终处于业界领先位置。它是一个可用于windows XP/7高度图形化的神经网络开发工具。其将模块化，基于图标的网络设计界面，先进的学习程序和遗传优化进行了结合。该款可用于研究和解决现实世界的复杂问题的神经网络设计工具在使用上几乎无限制。

南搞小孩给出基本的概念: 一.一些基本常识和原理 [什么叫神经网络?] 人的思维有逻辑性和直观性两种不同的基本方式。逻辑性的思维是指根据逻辑规则进行推理的过程；它先将信息化成概念，并用符号表示，然后，根据符号运算按串行模式进行逻辑推理；这一过程可以写成串行的指令，让计算机执行。然而，直观性的思维是将分布式存储的信息综合起来，结果是忽然间产生想法或解决问题的办法。这种思维方式的根本之点在于以下两点:1.信息是通过神经元上的兴奋模式分布储在网络上;2.信息处理是通过神经元之间同时相互作用的动态过程来完成的。 人工神经网络就是模拟人思维的第二种方式。这是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。 [人工神经网络的工作原理] 人工神经网络首先要以一定的学习准则进行学习，然后才能工作。现以人工神经网络对手写“A”、“B”两个字母的识别为例进行说明，规定当“A”输入网络时，应该输出“1”，而当输入为“B”时，输出为“0”。 所以网络学习的准则应该是：如果网络作出错误的的判决，则通过网络的学习，应使得网络减少下次犯同样错误的可能性。首先，给网络的各连接权值赋予(0，1)区间内的随机值，将“A”所对应的图象模式输入给网络，网络将输入模式加权求和、与门限比较、再进行非线性运算，得到网络的输出。在此情况下，网络输出为“1”和“0”的概率各为50%，也就是说是完全随机的。这时如果输出为“1”(结果正确)，则使连接权值增大，以便使网络再次遇到“A”模式输入时，仍然能作出正确的判断。 如果输出为“0”(即结果错误)，则把网络连接权值朝着减小综合输入加权值的方向调整，其目的在于使网络下次再遇到“A”模式输入时，减小犯同样错误的可能性。如此操作调整，当给网络轮番输入若干个手写字母“A”、“B”后，经过网络按以上学习方法进行若干次学习后，网络判断的正确率将大大提高。这说明网络对这两个模式的学习已经获得了成功，它已将这两个模式分布地记忆在网络的各个连接权值上。当网络再次遇到其中任何一个模式时，能够作出迅速、准确的判断和识别。一般说来，网络中所含的神经元个数越多，则它能记忆、识别的模式也就越多。 南搞小孩一个小程序: 关于一个神经网络模拟程序的下载 人工神经网络实验系统(BP网络) V1.0 Beta 作者:沈琦 http://emuch.net/html/200506/de24132.html 作者关于此程序的说明: 从输出结果可以看到，前3条"学习"指令，使"输出"神经元收敛到了值 0.515974。而后3条"学习"指令，其收敛到了值0.520051。再看看处理4和11的指令结果 P *Out1: 0.520051看到了吗？ "大脑"识别出了4和11是属于第二类的！怎么样?很神奇吧?再打show指令看看吧!"神经网络"已经形成了!你可以自己任意的设"模式"让这个"大脑"学习分辩哦!只要样本数据量充分(可含有误差的样本)，如果能够在out数据上收敛地话，那它就能分辨地很准哦!有时不是绝对精确，因为它具有"模糊处理"的特性.看Process输出的值接近哪个Learning的值就是"大脑"作出的"模糊性"判别! 南搞小孩神经网络研究社区: 人工神经网络论坛 http://www.youngfan.com/forum/index.php http://www.youngfan.com/nn/index.html(旧版,枫舞推荐) 国际神经网络学会(INNS)(英文) http://www.inns.org/ 欧洲神经网络学会(ENNS)(英文) http://www.snn.kun.nl/enns/ 亚太神经网络学会(APNNA)(英文) http://www.cse.cuhk.edu.hk/~apnna 日本神经网络学会(JNNS)(日文) http://www.jnns.org 国际电气工程师协会神经网络分会 http://www.ieee-nns.org/ 研学论坛神经网络 http://bbs.matwav.com/post/page?bid=8&sty=1&age=0 人工智能研究者俱乐部 http://www.souwu.com/ 2nsoft人工神经网络中文站 http://211.156.161.210:8888/2nsoft/index.jsp =南搞小孩推荐部分书籍: 人工神经网络技术入门讲稿(PDF) http://www.youngfan.com/nn/ann.pdf 神经网络FAQ(英文) http://www.youngfan.com/nn/FAQ/FAQ.html 数字神经网络系统(电子图书) http://www.youngfan.com/nn/nnbook/director.htm 神经网络导论(英文) http://www.shef.ac.uk/psychology/gurney/notes/contents.html =南搞小孩还找到一份很有参考价值的讲座 <前向网络的敏感性研究> http://www.youngfan.com/nn/mgx.ppt 是Powerpoint文件，比较大，如果网速不够最好用鼠标右键下载另存. 南搞小孩添言:很久之前，枫舞梦想智能机器人从自己手中诞生,SO在学专业的时候也有往这方面发展...考研的时候亦是朝着人工智能的方向发展..但是很不幸的是枫舞考研失败...SO 只好放弃这个美好的愿望,为生活奔波.希望你能够成为一个好的智能计算机工程师..枫舞已经努力的在给你提供条件资源哦~~

神经网络 最早是由心理学家和神经学家提出的，旨在寻求开发和测试神经的计算模拟。 粗略地说， 神经网络 是一组连接的 输入/输出单元 ，其中每个连接都与一个 权 相关联。在学习阶段，通过调整权值，使得神经网络的预测准确性逐步提高。由于单元之间的连接，神经网络学习又称 连接者学习。 神经网络是以模拟人脑神经元的数学模型为基础而建立的，它由一系列神经元组成，单元之间彼此连接。从信息处理角度看，神经元可以看作是一个多输入单输出的信息处理单元，根据神经元的特性和功能，可以把神经元抽象成一个简单的数学模型。 神经网络有三个要素： 拓扑结构、连接方式、学习规则 神经网络的拓扑结构 ：神经网络的单元通常按照层次排列，根据网络的层次数，可以将神经网络分为单层神经网络、两层神经网络、三层神经网络等。结构简单的神经网络，在学习时收敛的速度快，但准确度低。 神经网络的层数和每层的单元数由问题的复杂程度而定。问题越复杂，神经网络的层数就越多。例如，两层神经网络常用来解决线性问题，而多层网络就可以解决多元非线性问题 神经网络的连接 ：包括层次之间的连接和每一层内部的连接，连接的强度用权来表示。 根据层次之间的连接方式，分为： 1）前馈式网络：连接是单向的，上层单元的输出是下层单元的输入，如反向传播网络，Kohonen网络 2）反馈式网络：除了单项的连接外，还把最后一层单元的输出作为第一层单元的输入，如Hopfield网络 根据连接的范围，分为： 1）全连接神经网络：每个单元和相邻层上的所有单元相连 2）局部连接网络：每个单元只和相邻层上的部分单元相连 神经网络的学习 根据学习方法分： 感知器：有监督的学习方法，训练样本的类别是已知的，并在学习的过程中指导模型的训练 认知器：无监督的学习方法，训练样本类别未知，各单元通过竞争学习。 根据学习时间分： 离线网络：学习过程和使用过程是独立的 在线网络：学习过程和使用过程是同时进行的 根据学习规则分： 相关学习网络：根据连接间的激活水平改变权系数 纠错学习网络：根据输出单元的外部反馈改变权系数 自组织学习网络：对输入进行自适应地学习摘自《数学之美》对人工神经网络的通俗理解：神经网络种类很多，常用的有如下四种： 1）Hopfield网络，典型的反馈网络，结构单层，有相同的单元组成 2）反向传播网络，前馈网络，结构多层，采用最小均方差的纠错学习规则，常用于语言识别和分类等问题 3）Kohonen网络：典型的自组织网络，由输入层和输出层构成，全连接 4）ART网络：自组织网络 深度神经网络： Convolutional Neural Networks(CNN)卷积神经网络 Recurrent neural Network(RNN)循环神经网络 Deep Belief Networks(DBN)深度信念网络 深度学习是指多层神经网络上运用各种机器学习算法解决图像，文本等各种问题的算法集合。深度学习从大类上可以归入神经网络，不过在具体实现上有许多变化。 深度学习的核心是特征学习，旨在通过分层网络获取分层次的特征信息，从而解决以往需要人工设计特征的重要难题。 Machine Learning vs. Deep Learning  神经网络（主要是感知器）经常用于 分类 神经网络的分类知识体现在网络连接上，被隐式地存储在连接的权值中。 神经网络的学习就是通过迭代算法，对权值逐步修改的优化过程，学习的目标就是通过改变权值使训练集的样本都能被正确分类。 神经网络特别适用于下列情况的分类问题： 1) 数据量比较小，缺少足够的样本建立模型 2) 数据的结构难以用传统的统计方法来描述 3) 分类模型难以表示为传统的统计模型 缺点： 1) 需要很长的训练时间，因而对于有足够长训练时间的应用更合适。 2) 需要大量的参数，这些通常主要靠经验确定，如网络拓扑或“结构”。 3)  可解释性差 。该特点使得神经网络在数据挖掘的初期并不看好。 优点： 1) 分类的准确度高 2)并行分布处理能力强 3)分布存储及学习能力高 4)对噪音数据有很强的鲁棒性和容错能力最流行的基于神经网络的分类算法是80年代提出的 后向传播算法 。后向传播算法在多路前馈神经网络上学习。  定义网络拓扑 在开始训练之前，用户必须说明输入层的单元数、隐藏层数（如果多于一层）、每一隐藏层的单元数和输出层的单元数，以确定网络拓扑。 对训练样本中每个属性的值进行规格化将有助于加快学习过程。通常，对输入值规格化，使得它们落入0.0和1.0之间。 离散值属性可以重新编码，使得每个域值一个输入单元。例如，如果属性A的定义域为(a0,a1,a2)，则可以分配三个输入单元表示A。即，我们可以用I0 ,I1 ,I2作为输入单元。每个单元初始化为0。如果A = a0，则I0置为1；如果A = a1，I1置1；如此下去。 一个输出单元可以用来表示两个类（值1代表一个类，而值0代表另一个）。如果多于两个类，则每个类使用一个输出单元。 隐藏层单元数设多少个“最好” ，没有明确的规则。 网络设计是一个实验过程，并可能影响准确性。权的初值也可能影响准确性。如果某个经过训练的网络的准确率太低，则通常需要采用不同的网络拓扑或使用不同的初始权值，重复进行训练。 后向传播算法学习过程： 迭代地处理一组训练样本，将每个样本的网络预测与实际的类标号比较。 每次迭代后，修改权值，使得网络预测和实际类之间的均方差最小。 这种修改“后向”进行。即，由输出层，经由每个隐藏层，到第一个隐藏层（因此称作后向传播）。尽管不能保证，一般地，权将最终收敛，学习过程停止。 算法终止条件：训练集中被正确分类的样本达到一定的比例，或者权系数趋近稳定。 后向传播算法分为如下几步： 1) 初始化权 网络的权通常被初始化为很小的随机数（例如，范围从-1.0到1.0，或从-0.5到0.5）。 每个单元都设有一个偏置（bias），偏置也被初始化为小随机数。 2) 向前传播输入 对于每一个样本X，重复下面两步： 向前传播输入，向后传播误差 计算各层每个单元的输入和输出。输入层：输出=输入=样本X的属性；即，对于单元j，Oj = Ij = Xj。隐藏层和输出层：输入=前一层的输出的线性组合,即，对于单元j， Ij =wij Oi + θj，输出= 3) 向后传播误差 计算各层每个单元的误差。 输出层单元j，误差： Oj是单元j的实际输出，而Tj是j的真正输出。 隐藏层单元j，误差： wjk是由j到下一层中单元k的连接的权，Errk是单元k的误差 更新 权 和 偏差 ，以反映传播的误差。 权由下式更新：  其中，△wij是权wij的改变。l是学习率，通常取0和1之间的值。  偏置由下式更新：   其中，△θj是偏置θj的改变。Example人类视觉原理： 深度学习的许多研究成果，离不开对大脑认知原理的研究，尤其是视觉原理的研究。1981 年的诺贝尔医学奖，颁发给了 David Hubel（出生于加拿大的美国神经生物学家） 和Torsten Wiesel，以及Roger Sperry。前两位的主要贡献，是“发现了视觉系统的信息处理”， 可视皮层是分级的 。 人类的视觉原理如下：从原始信号摄入开始（瞳孔摄入像素Pixels），接着做初步处理（大脑皮层某些细胞发现边缘和方向），然后抽象（大脑判定，眼前的物体的形状，是圆形的），然后进一步抽象（大脑进一步判定该物体是只气球）。对于不同的物体，人类视觉也是通过这样逐层分级，来进行认知的：在最底层特征基本上是类似的，就是各种边缘，越往上，越能提取出此类物体的一些特征（轮子、眼睛、躯干等），到最上层，不同的高级特征最终组合成相应的图像，从而能够让人类准确的区分不同的物体。 可以很自然的想到：可以不可以模仿人类大脑的这个特点，构造多层的神经网络，较低层的识别初级的图像特征，若干底层特征组成更上一层特征，最终通过多个层级的组合，最终在顶层做出分类呢？答案是肯定的，这也是许多深度学习算法（包括CNN）的灵感来源。 卷积神经网络是一种多层神经网络，擅长处理图像特别是大图像的相关机器学习问题。卷积网络通过一系列方法，成功将数据量庞大的图像识别问题不断降维，最终使其能够被训练。 CNN最早由Yann LeCun提出并应用在手写字体识别上。LeCun提出的网络称为LeNet，其网络结构如下：这是一个最典型的卷积网络，由 卷积层、池化层、全连接层 组成。其中卷积层与池化层配合，组成多个卷积组，逐层提取特征，最终通过若干个全连接层完成分类。 CNN通过卷积来模拟特征区分，并且通过卷积的权值共享及池化，来降低网络参数的数量级，最后通过传统神经网络完成分类等任务。 降低参数量级：如果使用传统神经网络方式，对一张图片进行分类，那么，把图片的每个像素都连接到隐藏层节点上，对于一张1000x1000像素的图片，如果有1M隐藏层单元，一共有10^12个参数，这显然是不能接受的。但是在CNN里，可以大大减少参数个数，基于以下两个假设： 1）最底层特征都是局部性的，也就是说，用10x10这样大小的过滤器就能表示边缘等底层特征 2）图像上不同小片段，以及不同图像上的小片段的特征是类似的，也就是说，能用同样的一组分类器来描述各种各样不同的图像 基于以上两个假设，就能把第一层网络结构简化 用100个10x10的小过滤器，就能够描述整幅图片上的底层特征。卷积运算的定义如下图所示： 如上图所示，一个5x5的图像，用一个3x3的 卷积核 ：    1　　0　　1    0　　1　　0    1　　0　　1 来对图像进行卷积操作（可以理解为有一个滑动窗口，把卷积核与对应的图像像素做乘积然后求和），得到了3x3的卷积结果。 这个过程可以理解为使用一个过滤器（卷积核）来过滤图像的各个小区域，从而得到这些小区域的特征值。在实际训练过程中， 卷积核的值是在学习过程中学到的。 在具体应用中，往往有多个卷积核，可以认为， 每个卷积核代表了一种图像模式 ，如果某个图像块与此卷积核卷积出的值大，则认为此图像块十分接近于此卷积核。如果设计了6个卷积核，可以理解为这个图像上有6种底层纹理模式，也就是用6种基础模式就能描绘出一副图像。以下就是24种不同的卷积核的示例： 池化 的过程如下图所示： 可以看到，原始图片是20x20的，对其进行采样，采样窗口为10x10，最终将其采样成为一个2x2大小的特征图。 之所以这么做，是因为即使做完了卷积，图像仍然很大（因为卷积核比较小），所以为了降低数据维度，就进行采样。 即使减少了许多数据，特征的统计属性仍能够描述图像，而且由于降低了数据维度，有效地避免了过拟合。 在实际应用中，分为最大值采样（Max-Pooling）与平均值采样（Mean-Pooling）。LeNet网络结构： 注意，上图中S2与C3的连接方式并不是全连接，而是部分连接。最后，通过全连接层C5、F6得到10个输出，对应10个数字的概率。 卷积神经网络的训练过程与传统神经网络类似，也是参照了反向传播算法 第一阶段，向前传播阶段： a）从样本集中取一个样本(X,Yp)，将X输入网络； b）计算相应的实际输出Op 第二阶段，向后传播阶段 a）计算实际输出Op与相应的理想输出Yp的差； b）按极小化误差的方法反向传播调整权矩阵。

神经网络由大量的神经元相互连接而成。每个神经元接受线性组合的输入后，最开始只是简单的线性加权，后来给每个神经元加上了非线性的激活函数，从而进行非线性变换后输出。每两个神经元之间的连接代表加权值，称之为权重（weight）。不同的权重和激活函数，则会导致神经网络不同的输出。 举个手写识别的例子，给定一个未知数字，让神经网络识别是什么数字。此时的神经网络的输入由一组被输入图像的像素所激活的输入神经元所定义。在通过非线性激活函数进行非线性变换后，神经元被激活然后被传递到其他神经元。重复这一过程，直到最后一个输出神经元被激活。从而识别当前数字是什么字。 神经网络的每个神经元如下 基本wx + b的形式，其中 x1、x2表示输入向量 w1、w2为权重，几个输入则意味着有几个权重，即每个输入都被赋予一个权重 b为偏置bias g(z) 为激活函数 a 为输出 如果只是上面这样一说，估计以前没接触过的十有八九又必定迷糊了。事实上，上述简单模型可以追溯到20世纪50/60年代的感知器，可以把感知器理解为一个根据不同因素、以及各个因素的重要性程度而做决策的模型。 举个例子，这周末北京有一草莓音乐节，那去不去呢？决定你是否去有二个因素，这二个因素可以对应二个输入，分别用x1、x2表示。此外，这二个因素对做决策的影响程度不一样，各自的影响程度用权重w1、w2表示。一般来说，音乐节的演唱嘉宾会非常影响你去不去，唱得好的前提下 即便没人陪同都可忍受，但如果唱得不好还不如你上台唱呢。所以，我们可以如下表示： x1：是否有喜欢的演唱嘉宾。x1 = 1 你喜欢这些嘉宾，x1 = 0 你不喜欢这些嘉宾。嘉宾因素的权重w1 = 7 x2：是否有人陪你同去。x2 = 1 有人陪你同去，x2 = 0 没人陪你同去。是否有人陪同的权重w2 = 3。 这样，咱们的决策模型便建立起来了：g(z) = g(w1x1 + w2x2 + b )，g表示激活函数，这里的b可以理解成 为更好达到目标而做调整的偏置项。 一开始为了简单，人们把激活函数定义成一个线性函数，即对于结果做一个线性变化，比如一个简单的线性激活函数是g(z) = z，输出都是输入的线性变换。后来实际应用中发现，线性激活函数太过局限，于是引入了非线性激活函数。

机器学习中谈论的神经网络是指“神经网络学习”，或者说，是机器学习和神经网络这两个学科领域的交叉部分[1]。 在这里，神经网络更多的是指计算机科学家模拟人类大脑结构和智能行为，发明的一类算法的统称。 神经网络是众多优秀仿生算法中的一种，读书时曾接触过蚁群优化算法，曾惊讶于其强大之处，但神经网络的强大，显然蚁群优化还不能望其项背。A、起源与第一次高潮。有人认为，神经网络的最早讨论，源于现代计算机科学的先驱——阿兰.图灵在1948年的论文中描述的“B型组织机器”[2]。二十世纪50年代出现了以感知机、Adaling为代表的一系列成功，这是神经网络发展的第一个高潮[1]。B、第一次低谷。1969年，马文.明斯基出版《感知机》一书，书中论断直接将神经网络打入冷宫，导致神经网络十多年的“冰河期”。值得一提的是，在这期间的1974年，哈佛大学Paul Webos发明BP算法，但当时未受到应有的重视[1]。 C、第二次高潮。1983年，加州理工学院的物理学家John Hopfield利用神经网络，在旅行商问题上获得当时最好结果，引起轰动；Rumelhart等人重新发明了BP算法，BP算法迅速走红，掀起神经网络第二次高潮[1]。 D、第二次低谷。二十世纪90年代中期，统计学习理论和支持向量机兴起，较之于这些算法，神经网络的理论基础不清晰等缺点更加凸显，神经网络研究进入第二次低谷[1]。 E、深度学习的崛起。2010年前后，随着计算能力的提升和大数据的涌现，以神经网络为基础的“深度学习”崛起，科技巨头公司谷歌、Facebook、百度投入巨资研发，神经网络迎来第三次高潮[1]。2016年3月9日至15日，Google人工智能程序AlphaGo对阵韩国围棋世界冠军李世乭，以4:1大比分获胜，比众多专家预言早了十年。这次比赛，迅速在全世界经济、科研、计算机产业各领域掀起人工智能和深度学习的热烈讨论。 F、展望。从几个方面讨论一下。 1)、近期在Google AlphaGo掀起的热潮中，民众的热情与期待最大，甚至有少许恐慌情绪；计算机产业和互联网产业热情也非常巨大，对未来充满期待，各大巨头公司对其投入大量资源；学术界的反应倒是比较冷静的。学术界的冷静，是因为神经网络和深度神经网络的理论基础还没有出现长足的进步，其缺点还没有根本改善。这也从另一个角度说明了深度神经网络理论进步的空间很大。 2)、"当代神经网络是基于我们上世纪六十年代掌握的脑知识。"关于人类大脑的科学与知识正在爆炸式增长。[3]世界上很多学术团队正在基于大脑机制新的认知建立新的模型[3]。我个人对此报乐观态度，从以往的仿生算法来看，经过亿万年进化的自然界对科技发展的促进从来没有停止过。 3)、还说AlphaGo，它并不是理论和算法的突破，而是基于已有算法的工程精品。AlhphaGo的工作，为深度学习的应用提供了非常广阔的想象空间。分布式技术提供了巨大而廉价的计算能力，巨量数据的积累提供了丰富的训练样本，深度学习开始腾飞，这才刚刚开始。一直沿用至今的，是McChlloch和Pitts在1943年依据脑神经信号传输结构抽象出的简单模型，所以也被称作”M-P神经元模型“。 其中，f函数像一般形如下图的函数，既考虑阶跃性，又考虑光滑可导性。实际常用如下公式，因形如S，故被称作sigmoid函数。把很多个这样的神经元按一定层次连接起来，就得到了神经网络。两层神经元组成，输入层接收外界输入信号，输出层是M-P神经元(只有输出层是)。感知机的数学模型和单个M-P神经元的数学模型是一样的，如因为输入层只需接收输入信号，不是M-P神经元。 感知机只有输出层神经元是B-P神经元，学习能力非常有限。对于现行可分问题，可以证明学习过程一定会收敛。而对于非线性问题，感知机是无能为力的。BP神经网络全称叫作误差逆传播(Error Propagation)神经网络，一般是指基于误差逆传播算法的多层前馈神经网络。这里为了不占篇幅，BP神经网络将起篇另述。 BP算法是迄今最为成功的神经网络学习算法，也是最有代表性的神经网络学习算法。BP算法不仅用于多层前馈神经网络，还用于其他类型神经网络的训练。 RBF网络全程径向基函数(Radial Basis Function)网络，是一种单隐层前馈神经网络，其与BP网络最大的不同是采用径向基函数作为隐层神经元激活函数。 卷积神经网络(Convolutional neural networks，简称CNNs)是一种深度学习的前馈神经网络，在大型图片处理中取得巨大成功。卷积神经网络将起篇另述。 循环神经网络(Recurrent Neural Networks，RNNs)与传统的FNNs不同，RNNs引入定向循环，能够处理那些输入之间前后关联的问题。RNNs已经在众多自然语言处理(Natural Language Processing, NLP)中取得了巨大成功以及广泛应用[5]。RNNs将起篇另述。[5] [1]、《机器学习》，周志华著 [2]、《模式识别（第二版）》，Richard O.Duda等著，李宏东等译 [3]、《揭秘IARPA项目：解码大脑算法或将彻底改变机器学习》，Emily Singerz著，机器之心编译出品 [4]、图片来源于互联网 [5]、 循环神经网络(RNN, Recurrent Neural Networks)介绍

人工神经网络也具有初步的自适应与自组织能力。在学习或训练过程中改变突触权重值，以适应周围环境的要求。同一网络因学习方式及内容不同可具有不同的功能。人工神经网络是一个具有学习能力的系统，可以发展知识，以致超过设计者原有的知识水平。通常，它的学习训练方式可分为两种，一种是有监督或称有导师的学习，这时利用给定的样本标准进行分类或模仿；另一种是无监督学习或称无为导师学习，这时，只规定学习方式或某些规则，则具体的学习内容随系统所处环境（即输入信号情况）而异，系统可以自动发现环境特征和规律性，具有更近似人脑的功能。神经网络就像是一个爱学习的孩子，您教她的知识她是不会忘记而且会学以致用的。我们把学习集（Learning Set）中的每个输入加到神经网络中，并告诉神经网络输出应该是什么分类。在全部学习集都运行完成之后，神经网络就根据这些例子总结出她自己的想法，到底她是怎么归纳的就是一个黑盒了。之后我们就可以把测试集（Testing Set）中的测试例子用神经网络来分别作测试，如果测试通过（比如80%或90%的正确率），那么神经网络就构建成功了。我们之后就可以用这个神经网络来判断事务的分类了。神经网络是通过对人脑的基本单元——神经元的建模和联接，探索模拟人脑神经系统功能的模型，并研制一种具有学习、联想、记忆和模式识别等智能信息处理功能的人工系统。神经网络的一个重要特性是它能够从环境中学习，并把学习的结果分布存储于网络的突触连接中。神经网络的学习是一个过程，在其所处环境的激励下，相继给网络输入一些样本模式，并按照一定的规则（学习算法）调整网络各层的权值矩阵，待网络各层权值都收敛到一定值，学习过程结束。然后我们就可以用生成的神经网络来对真实数据做分类。

经过几十年的发展，神经网络理论在模式识别、自动控制、信号处理、辅助决策、人工智能等众多研究领域取得了广泛的成功。将人工神经网络应用至实际问题时，需先分析问题有哪些参量，如何抽象建立模型，最后选择一种适当的神经网络模型，经过训练即可映射该问题。人工神经网络由于其独特的模型结构和固有的非线性模拟能力，以及高度的自适应和容错特性等突出特征，在控制系统中获得了广泛的应用。其在各类控制器框架结构的基础上，加入了非线性自适应学习机制，从而使控制器具有更好的性能。基本的控制结构有监督控制、直接逆模控制、模型参考控制、内模控制、预测控制、最优决策控制等。

本文翻译自colah的博客中的文章《Neural Networks, Manifolds, and Topology》 链接：http://colah.github.io/posts/2014-03-NN-Manifolds-Topology/ 发布于2014年4月6日 关键词：拓扑，神经网络，深度学习，流形假设（manifold hypothesis） 最近，深度神经网络给人们带来很大的振奋，引起了极大的兴趣，因为其在像计算机视觉等领域中取得的突破性成果。[1] 但是，人们对其仍存在一些担忧。一个是要真正理解一个神经网络在做什么是一件十分具有挑战的事情。如果一个人将其训练得很好，它可以取得高质量的结果，但是要理解其是如何做到这一点很难。如果网络出现故障，很难了解哪里出现了问题。 虽然，总体上来说要理解深度神经网络的行为具有挑战性，但事实证明，探索低维深度神经网络要容易得多，低维深度神经网络是指每层中只有少量神经元的网络。事实上，我们可以创建可视化来完全理解这种网络的行为和训练过程。这种观点将使我们能够更深入地了解神经网络的行为，并观察到神经网络和一个称为拓扑的数学领域之间的联系。 从中可以得到许多有趣的东西，包括能够对某些特定数据集进行分类的神经网络复杂度的基本下界。让我们从一个非常简单的数据集开始，在平面上有两条曲线。网络将学习把点归类为属于一个或另一个。对于这个问题，可视化神经网络行为的明显方法 - 或者任何分类算法 - 就是简单地看一下它如何对每个可能的数据点进行分类。 我们将从最简单的神经网络类别开始，只有一个输入层和一个输出层。这样的网络只是试图通过用直线划分它们来分离这两类数据。那种网络不是很有趣。现代神经网络通常在其输入和输出之间具有多个层，称为“隐藏”层。至少有一个。和前面一样，我们可以通过查看它对域中不同点的划分来可视化该网络的行为。它使用比直线更复杂的曲线将数据分离。对于每一层，网络都会转换数据，创建一个新的表示。[2] 我们可以查看每个表示中的数据以及网络如何对它们进行分类。当我们到达最终表示时，网络将只绘制一条穿过数据的线（或者，在更高维度下，绘制一个超平面）。 在之前的可视化中，我们以“原始”表示形式查看了数据。当我们看输入层时，你可以想到这一点。现在我们将在第一层转换后查看它。你可以把它想象成我们在看隐藏层。 每个维度对应于层中神经元的发射。在上一节中概述的方法中，我们通过查看与每个层对应的表示来学习理解网络。这给了我们一个离散的表示序列。 棘手的部分是理解我们如何从一个到另一个。值得庆幸的是，神经网络层具有很好的属性，使这很容易实现。 在神经网络中使用各种不同类型的层。我们将讨论tanh（双曲正切）层作为一个具体示例。 tanh层 tanh（Wx + b） 包括： 1. 经过“权重”矩阵 W 的线性变换 2. 经过矢量 b 的平移 3. 点式地应用tanh。 我们可以将其视为一个连续的转换，如下所示：其他标准层的过程大致相同，包括仿射变换，然后逐点应用单调激活函数。 我们可以应用这种技术来理解更复杂的网络。例如，以下网络使用四个隐藏层对两个略微纠缠的螺旋进行分类。随着时间的推移，我们可以看到它从“原始”表示转变为它为了对数据进行分类而学到的更高级别的表示。虽然螺旋最初是缠绕的，但最终它们是线性可分的。另一方面，以下网络也使用多个层，无法对两个更纠缠的螺旋进行分类。 值得明确指出的是，这些任务只是有些挑战，因为我们使用的是低维神经网络。如果我们使用更广泛的网络，所有这一切都会非常容易。 （Andrej Karpathy基于ConvnetJS做了一个很好的演示，它允许您通过这种对训练的可视化来交互式地探索网络！）每一层都伸展并占据空间，但它永远不会削减，折断或折叠它。直觉上，我们可以看到它保留了拓扑属性。例如，如果一个集合之前是连通的那其之后也是连通的（反之亦然）。 像这样不会影响拓扑的变换，称为同胚。在形式上，它们是双向连续函数的双射。 定理 ：如果权重矩阵W是非奇异的，则具有 N 个输入和 N 个输出的层是同胚。 （虽然需要注意域和范围。） 证明 ：让我们一步一步考虑： 1. 假设W具有非零行列式。然后它是具有线性逆的双射线性函数。线性函数是连续的。因此，乘以 W 是同胚。 2. 平移是同胚的。 3. tanh（和sigmoid和softplus但不是ReLU）是具有连续逆的连续函数。如果我们对我们考虑的域和范围保持谨慎，它们就是双射的。逐点应用它们是同胚。 因此，如果 W 具有非零行列式，则我们的层是同胚。 ∎ 如果我们将这些层中任意多个组合在一起，这个结果就会继续存在。考虑一个二维数据集，有两个类A和B⊂R2： A={x|d(x,0)<1/3} B={x|2/3<d(x,0)<1}声明 ：如果没有具有3个或更多隐藏单位的层，神经网络就无法对此数据集进行分类，无论深度如何。 如前所述，使用S形单元或softmax层进行分类等同于尝试找到在最终表示中分离A和B的超平面（或在这种情况下为线）。由于只有两个隐藏单元，网络在拓扑上无法以这种方式分离数据，并且注定要在此数据集上失败。 在下面的可视化中，我们观察到网络训练时的隐藏表示以及分类线。正如我们所看到的那样，它正在努力学习如何做到这一点。最终，它会被拉入一个相当低效的局部最小值。 虽然，它实际上能够达到~ 80％ 的分类准确度。 这个例子只有一个隐藏层，但无论如何都会失败。 证明 ：每一层都是同胚，或者层的权重矩阵具有行列式0.如果它是一个同胚，A仍然被B包围，并且一条线不能将它们分开。 但是假设它有一个行列式为0：那么数据集会在某个轴上折叠。 由于我们处理与原始数据集同胚的某些东西，A被B包围，并且在任何轴上折叠意味着我们将有一些A和B混合的点并且变得无法区分。∎ 如果我们添加第三个隐藏单元，问题就变得微不足道了。 神经网络学习以下表示：通过这种表示，我们可以使用超平面分离数据集。 为了更好地了解正在发生的事情，让我们考虑一个更简单的1维数据集： A=[−1/3,1/3] B=[−1,−2/3]∪[2/3,1]如果不使用两个或更多隐藏单元的层，我们就无法对此数据集进行分类。 但是如果我们使用有两个单元的层，我们学会将数据表示为一条很好的曲线，允许我们用一条线来将不同的类分隔开来：发生了什么？ 一个隐藏单元在x > -1/2时学会开火，一个在x > 1/2时学会开火。当第一个开火但第二个没开火时，我们知道我们在A中。这与现实世界的数据集，比如图像数据有关吗？ 如果你真的认真对待流形假设，我认为值得考虑。 流形假设是自然数据在其嵌入空间中形成低维流形。 理论上[3]和实验上[4]都有理由认为这是真的。 如果你相信这一点，那么分类算法的任务就是从根本上分离出一堆纠结的流形。 在前面的例子中，一个类完全包围了另一个类。 然而，狗图像流形似乎不太可能被猫图像流形完全包围。 但是，正如我们将在下一节中看到的那样，还有其他更合理的拓扑情况可能仍然存在问题。另一个值得考虑的有趣数据集是两个链接的圆环， A 和 B .与我们考虑的先前数据集非常相似，如果不使用n+1维，即第4维，则无法分离此数据集。 链接是在结理论中研究的，这是一个拓扑领域。 有时当我们看到一个链接时，它是否是一个非链接（一堆东西纠结在一起，但可以通过连续变形分开）并不是很明显。如果使用仅有3个单元的层的神经网络可以对其进行分类，那么它就是非链接。 （问题：理论上，所有非链接是否都可以被只有3个单元的网络进行分类？） 从这个结的角度来看，我们对神经网络产生的连续可视化的表示不仅仅是一个很好的动画，它还是一个解开链接的过程。在拓扑中，我们将其称为原始链接和分离链接之间的环境同位素（ambient isotopy）。 形式上，流形A和B之间的环境同位素是连续函数F：[0,1]×X→Y，使得每个Ft是从X到其范围的同胚，F0是恒等函数，F1将A映射到B。也就是说，Ft连续地从A向自身映射转换到A向B映射。 定理 ：在输入和网络层表示之间存在环境同位素，如果：a） W 不是奇异的，b）我们愿意置换隐藏层中的神经元，并且c）存在多于1个隐藏单元。 证明 ：同样，我们分别考虑网络的每个阶段： 1. 最难的部分是线性变换。 为了使这成为可能，我们需要 W 有一个正的行列式。 我们的前提是它不是零，如果它是负的，我们可以通过切换两个隐藏的神经元来翻转符号，那么我们可以保证行列式是正的。 正行列式矩阵的空间是路径连通的，因此存在 p ：[ 0,1 ] →  GLn (R)5，使得  p(0) = Id  且  p(1) = W 。 我们可以用函数  x → p(t)x  连续地从恒等函数转换到 W 变换，在每个时间点 t 将 x 乘以连续转换矩阵 p(t) 。 2. 我们可以用函数 x → x + tb 不断地从恒等函数转换到b转换。 3. 通过函数： x → (1- t)x +tσ(x) ，我们可以不断地从恒等函数过渡到σ的逐点使用。∎ 我想可能有兴趣自动发现这种环境同位素并自动证明某些链接的等价性，或某些链接是可分离的。知道神经网络能否击败现有技术水平将会很有趣。 （显然确定结是否平凡是NP问题。这对神经网络来说不是好兆头。） 到目前为止我们谈到的那种链接似乎不太可能出现在现实世界的数据中，但是有更高的维度的拓展。在现实世界的数据中可能存在这样的事情似乎是合理的。 链接和结是一维流形，但我们需要4个维度才能解开所有这些。类似地，人们可能需要更高维度的空间以能够解开n维流形。所有n维流形都可以在 2n + 2 维中解开。[6] （我对结理论知之甚少，真的需要更多地了解有关维度和链接的知识。如果我们知道流形可以嵌入到n维空间中，而不是流形的维数，我们有什么限制？ ）一个神经网络要做的自然的事情，非常简单的路线，是试图将流形分开，并尽可能地拉伸缠绕的部分。 虽然这不会接近真正的解决方案，但它可以实现相对较高的分类准确度并且是诱人的局部最小值。它会在它试图拉伸的区域中表现为 非常高的衍生物 （very high derivatives）和近乎不连续性。我们知道这些事情会发生.[7] 在数据点处惩罚层的衍生物的收缩惩罚是对抗这种情况的自然方式.[8] 由于这些局部极小值从试图解决拓扑问题的角度来看是绝对无用的，拓扑问题可能提供了探索解决这些问题的良好动机。 另一方面，如果我们只关心实现良好的分类结果，似乎我们可能不在乎。如果数据流形的一小部分被另一个流形钩住，对我们来说这是一个问题吗？尽管存在这个问题，似乎我们也应该能够获得主观上来看不错的分类结果。 （我的直觉是试图欺骗这个问题是一个坏主意：很难想象它不会是一个死胡同。特别是在一个优化问题中，局部最小值是一个大问题，选择一个架构，不能真正解决问题似乎是表现不佳的秘诀。）我对标准神经网络层的思考越多 - 即是，通过仿射变换后跟一个逐点激活函数 - 我感觉更加失去理智。 很难想象这些对于操纵流形真的很有益。 或许有一种非常不同的层可以用来组成更传统的层？ 我自然想到的是学习一个矢量场，这个矢量场带有我们想要改变流形的方向：然后根据它来变形空间：人们可以在固定点学习矢量场（只需从训练集中取一些固定点作为锚点）并以某种方式进行插值。 上面的矢量场的形式如下： 其中v0和v1是向量，f0(x)和f1(x)是n维高斯。 这受到径向基函数的启发。我也开始思考线性可分性对于神经网络的需求可能是巨大的，虽然可能是不合理的。在某些方面，感觉自然要做的就是使用k近邻（k-NN）。然而，k-NN的成功在很大程度上取决于它对数据进行分类的表示，因此在k-NN能够很好地工作之前需要一个好的表示。作为第一个实验，我训练了一些MNIST网络（两层卷积网，没有丢失），达到了约1％的测试误差。然后我丢弃了最终的softmax层并使用了k-NN算法。我能够始终如一地将测试误差降低0.1-0.2％。 尽管如此，还是觉得哪里有些问题。网络仍在尝试进行线性分类，但由于我们在测试时使用k-NN，因此能够从错误中恢复一点。 由于1/距离的加权，k-NN在它所作用的表示方面是可微的。因此，我们可以直接为k-NN分类训练一个网络。这可以被认为是一种“最近邻”层，可以作为softmax的替代品。 我们不希望为每个小批量提供整个训练集，因为这在计算上非常昂贵。我认为一个很好的方法是根据小批量的其他元素的类别对小批量的每个元素进行分类，给每个元素一个权重1 /(与分类目标的距离)。[9] 遗憾的是，即使使用复杂的架构，使用k-NN也只会降低5-4％的测试错误 - 使用更简单的架构会导致更糟糕的结果。但是，我花了很少的精力去调整超参数。 尽管如此，我在美学上仍然喜欢这种方法，因为看起来我们“要求”网络做的事情要合理得多。我们希望相同流形的点比其他点更接近，而流形可以通过超平面分离。这应该对应于扩张不同类别流形之间的空间并使各个流形收缩。感觉就像简化。 数据的拓扑属性（例如链接）可能使得无法使用低维网络线性分离类，无论深度如何。即使在技术上可行的情况下，例如螺旋，这样做也是非常具有挑战性的。 为了使用神经网络准确地对数据进行分类，有时需要宽层。此外，传统的神经网络层似乎不能很好地表示对流形的重要操作；即使我们巧妙地手工设置权重，紧凑地表示我们想要的变换也是一项挑战。新的层，特别是受机器学习的流形观点驱动的，可能是有用的补充。 （这是一个正在开发的研究项目。它是作为公开进行研究的实验而发布的。我很高兴收到你对这些想法的反馈：你可以内联或最后发表评论。对于拼写错误，技术错误或你想要的澄清看到添加，我们鼓励你在github上发出pull请求。） 感谢Yoshua Bengio, Michael Nielsen, Dario Amodei, Eliana Lorch, Jacob Steinhardt, and Tamsyn Waterhouse的评论和鼓励。 1. This seems to have really kicked off with  Krizhevsky  et al. , (2012) , who put together a lot of different pieces to achieve outstanding results. Since then there"s been a lot of other exciting work. ↩ 2. These representations, hopefully, make the data “nicer” for the network to classify. There has been a lot of work exploring representations recently. Perhaps the most fascinating has been in Natural Language Processing: the representations we learn of words, called word embeddings, have interesting properties. See  Mikolov  et al.  (2013) ,  Turian  et al.  (2010) , and,  Richard Socher"s work . To give you a quick flavor, there is a  very nice visualization  associated with the Turian paper. ↩ 3. A lot of the natural transformations you might want to perform on an image, like translating or scaling an object in it, or changing the lighting, would form continuous curves in image space if you performed them continuously. ↩ 4.  Carlsson  et al.  found that local patches of images form a klein bottle. ↩ 5. GLn(R)is the set of invertible n×n matrices on the reals, formally called the  general linear group  of degree n. ↩ 6. This result is mentioned in  Wikipedia"s subsection on Isotopy versions . ↩ 7. See  Szegedy  et al. , where they are able to modify data samples and find slight modifications that cause some of the best image classification neural networks to misclasify the data. It"s quite troubling. ↩ 8. Contractive penalties were introduced in contractive autoencoders. See  Rifai  et al. (2011) . ↩ 9. I used a slightly less elegant, but roughly equivalent algorithm because it was more practical to implement in Theano: feedforward two different batches at the same time, and classify them based on each other. ↩

译者：树石 最近，由于在诸如计算机视觉领域取得了突破性成果，深层神经网络引起了广泛的关注和兴趣。 然而，该领域仍然存在一些顾虑。比如， 要了解神经网络能够做什么相当具有挑战性 。如果一个网路被训练得很好，输出高品质的结果，但了解它是如何做到的具有挑战性。如果网络出现故障，也很难理解什么地方出了错。 虽然通常理解深层神经网络的行为比较困难， 探索低维度深层神经网络相对容易的多 ——在每一层只有几个神经元的网络。事实上，我们可以通过创建可视化效果来理解网络的行为和对网络的培训。这种方法将让我们 获取对神经网络行为的深层直觉，并观察到神经网络和拓扑学之间的联系 。 另外，还探讨了一些有趣的事情，包括对某些数据集进行分类的神经网络的最低复杂性。 让我们从一个非常简单的数据集开始：在一个平面上的两条曲线。该网络将学习如何将线上的点归类为这一个还是另外一个。 将神经网络（或任何分类算法）的行为可视化，显而易见的方法是简单地看它是如何对每一个可能的数据点进行分类。 我们将先从最简单的神经网络开始，只有一个输入层和一个输出层的网络。这样的网络只是试图通过画一条线将两个类数据的分离。 诸如此类的网络不是很有趣。现代神经网络一般在输入和输出之间，具有称为“隐藏”层的多个层次。至少包含一个隐藏层。 与以前一样，我们可以通过查看它对其领域不同点进行的处理来观察这个网络的行为。数据分割通过一条曲线来完成，而不是直线。 通过神经网络的每一层，数据被转换，创建了一个新的 表示 （represention）。我们可以看一下在这些表示中的数据以及网络是如何划分他们的。当我们到达最后一层的表示时，网络只需要绘制一条线（或者，在更高维度里绘制一个超平面）。 在前面的可视化中，我们看到其“原始”表示的数据，你可以将其视为输入层。现在我们将看看经过第一层转化后，你可以认为这是我们看到了隐藏层。 每个维度对应于该层中神经元的兴奋。 在上一节中所概述的方法，我们知道通过查看每层的表示来了解网络。这给了我们一个离散的表示列表。 最棘手的部分是了解我们是如何从一个表示到另一个的。值得庆幸的是，神经网络层具有很好的性能，使这一点变得很容易。 神经网络由多种不同类型的层构成。我们将谈论一个具体的例子：双曲正切层（tanh）。一个双曲正切层tanh⁡(Wx+b)由以下组成： 我们可以观察到这是一个连续变换，具体如下： 这个故事和其它标准层大体相同，由一个映射变换之后单调激活函数的逐点应用。 我们可以用这种技术来了解更复杂的网络。例如，下面的网络划分两个被略微缠结的螺旋，使用四个隐藏层。随着时间的推移，我们可以看到它的“原始”表示转移到更高层次为了对数据进行分类。而螺旋最初是纠结的，最终他们是线性可分的。 另一方面，以下的网络，也是使用多个层，分类两个螺旋没有成功，反而更加缠结。 这里值得明确指出，这些任务将变得有些困难，如果我们使用的是低维神经网络。如果我们使用更广泛的网络，这一切都将是相当容易的。 （ Andrei Karpathy有 很好的演示 基于ConvnetJS，让您可以交互式地浏览网络，就像上面的这种可视化培训！ ） 每一层都会拉伸和挤压空间，但它永远不会切割、断裂和褶皱它。直观地说，我们可以看到它保留了拓扑性质。例如，一组数据将在转化后保持连接，如果它之前是连接的（反之亦然）。 这样的转换，不影响拓扑结构，被称为同胚。在形式上，他们是连续函数的双向映射。 定理 ：具有N个输入和N个输出的层是同胚，如果权重矩阵W是非奇异的。（虽然需要小心它的值域和范围。） 证明 ：让我们一步步考虑： 因此，如果W所有因子都是非零的，我们的层就是同胚的。∎ 这一结果始终正确，如果我们将任意多个这些层组合在一起。 考虑包含两个类的二维数据集 ![][01] [01]: http://latex.codecogs.com/svg.latex?,A,B subsetmathbb{R}^2 A = {x | d(x,0) < 1/3} B = {x | 2/3 < d(x,0) < 1} 如前面提到的，用一个S形函数或SOFTMAX层分类相当于试图找到一个超平面（或在这种情况下是一条线）在最终表示中分隔A与B。只有两个隐藏层的网络对于分离这组数据在拓扑上是无能的，并注定要失败。 在下面的可视化图中，我们观察到网络训练隐藏的表示，通过试图使用一条直线来分类。我们可以看到，它在努力学习某种方式来做到这一点是不断挣扎而且困难重重。 最后，它被拉到一个相当低效的拟合。虽然它实际上能够实现〜80%分类精度。 这个例子只有一个隐藏层，但无论如何它都会失败。 证明 ：要么每层是一个同胚，要么该层的权重矩阵具有0因子。如果该层是同胚的，A被B所环绕，一个直线不能将它们分开。但是，假设它具有一个0因子：那么数据集将在某些轴上崩塌。因为我们正在处理的东西同胚于原始数据集，A被B所包围，在任一轴崩塌于意味着我们将有一些A中的点和B中的点混合，从而无法完成A与B的区分。∎ 如果我们增加第三个隐藏层，问题就变得微不足道。神经网络学习以下表示： 用这个表示，我们可以用一个超平面分开数据集。 为了更好的理解这是怎么做到的，让我们考虑一个更简单的一维数据集： ![][02] [02]: http://latex.codecogs.com/svg.latex?,A=[- frac{1}{3}，,frac{1}{3}] ![][03] [03]: http://latex.codecogs.com/svg.latex?,B=[-1,- frac{2}{3}]cup[frac{2}{3},1] 如果不使用两个或多个隐藏单元层，我们不能将此数据集进行分类。但是，如果我们使用一个带有两层的网络，我们就学会将数据转化成一个很好的曲线，让我们能用一条线将数据分开： 发生了什么？一个隐藏单元学习当x>-1/2时兴奋，另一个单元学习当x>1/2时兴奋。当第一个兴奋，而不是第二个时，我们知道数据属于A。 这个假说和现实世界的数据集相关吗，比如图像数据？如果你认真对待流形假说，我觉得他值得思考。 流形假说是指自然数据在它的嵌入空间构成了较低维度的数据流形。同时具有理论和实验的理由相信这一假说是真的。如果你相信这一点，那么分类算法的任务是从根本上分离一堆纠结的流形。 在前面的例子中，一个类完全被另一个类包围。然而，这似乎并不可能，比如狗的图像流形完全被猫的图像流形包围。因为我们将在下一节中看到其他更合理的拓扑情况。 另一个有趣的数据集要考虑的是两个链接的tori，A和B。 就像之前的数据集，这个数据不能被分离，如果不使用n+1维，即4个维度。 链接在结点理论（knot theory)中被讨论，拓扑学的一个领域。有时，当我们看到一个链接，并不能一眼看出它是否真正相连（一堆被缠结在一起的事情，但可以通过连续变形分开）。 如果仅仅使用3个层次的神经网络就能够对其进行分类，那么它就是一个未链接（unlink）。（问：理论上是否能将所有未链接都通过只有3个层次的网络进行分类？） 从这个结的角度看，我们通过神经网络产生的连续可视化不仅仅是一个漂亮的动画，它是解开链接的程序。在拓扑学中，我们把它称为原始链接和分离环之间一个环境同痕（an ambient isotopy)。 形式上，流形A和B之间的一个环境同痕是一个连续函数F：[0，1]× X→Y，使得每个Ft是一个从X到它自己范围的同胚，F0是一个标识函数，并F1是从A到B的一个映射。也就是，Ft是从A到自身的映射到从A到B的映射的连续转换。 定理 ：在输入和网络层之间具有环境同痕，如果： 证明 ：同样，我们分别考虑网络的每个阶段： 我想这也许是十分有趣的，通过程序自动发现这样的环境同痕并自动证明某些链接的等价性，或者某些环节是可分离的。这将很有趣知道，如果神经网络是否可以各种情况。 （显然，确定结点是否重要是一个NP，这不太适用于神经网络。） 我们已经谈到的这类链接，到目前为止似乎不太可能是现实世界的数据，但他们是更高维的生成。这似乎是合理的。 链接和结点是1维流形，但我们需要4个维度才能够解开他们。类似地，可能需要更高维度的空间，以便能够解开n维流形。所有n维流形可在2n+2维度上解开。 （我对于结点理了解不多，确实需要更多地了解维度和链接。如果我们知道一个流形可以被嵌入到n维空间，而不是流形的维度，我们有什么限制？ ） 很自然的想法，一个神经网络试图直接将流形从纠结尽可能薄的部分拉出。虽然这不会在任何情况下都是一个好的解决方案，但是大多情况它可以实现较高的分类准确率，到达一个诱人的最低点（local miminum）。 它试图拉伸具有高延展性的空间，并锐化靠近中断处。我们知道这些事情发生。压缩的处罚，在对数据点衍生层的处罚，都是很自然的做法。 由于这些局部最小点对于解决这种拓扑问题完全无用，拓扑问题值得很好的探索。 在另一方面，如果我们只关心取得了良好的分类结果，好像我们可能并不关心。如果很小的一个数据流形的点陷入另一个流形，会是一个问题吗？看起来我们应该能够得到很好的分类结果，尽管有这个问题。 （我的直觉是，像这样欺骗自己是一个坏主意：这是很难想象它不会是死路一条。特别是，针对一个局部最小很重要的优化问题，选择这种方式不能真正解决问题，这似乎是糟糕的表现。） 我越思考标准的神经网络层 - 即用映射变换后逐点激活功能 - 我就越不抱幻想。很难想象，他们能够很好地操纵流形。 也许这可能是有意义的，我们采用一个非常不同的层，而不是传统的神经网络层？ 非常自然的感觉是，通过一个矢量场的学习，我们希望流形移动方向： 然后再对他变形空间： 人们可以学会在固定点的矢量场（只是需要从训练集合选取一些固定点作为锚），并以某种方式介入。上面的矢量场的形式是： ![][04] [04]: http://latex.codecogs.com/svg.latex?,F(x)= frac{v_0f_0(x)+v_1f_1(x)}{1+f_0(x)+f_1(x)} 其中，v0和v1是矢量，F0(X)和F1(X)是n维高斯函数。这一点来自于径向基函数（radial basis functions）的灵感。 我也开始觉得线性可分可能是一个巨大的，也可能不合理的，神经网络的需求。在某些方面，非常自然的会想到使用K-近邻（K-NN）。然而，K-NN的成功在很大程度上取决于它所分类的数据表示（represention），因此，人们在K-NN之前，需要一种良好的表示。 作为第一个实验中，我训练了一些MNIST网络（两层卷积网，没有下降现象）到达〜1%测试误差。然后我放弃了最后的SOFTMAX层而使用K-NN算法，我能够始终如一地降低0.1-0.2％的测试误差。 不过，这并不完全觉得是正确的事情。该网络还在试图做线性分类，但由于我们使用K-NN测试，它能够从它所犯的错误中恢复一些。 K-NN有区别于相对于它的网络层次，因为会用到（1 /距离值）加权。因此，我们可以直接训练网络K-NN分类。这可以被认为是一种“k-NN”层替SOFTMAX。 我们不希望为每个小批量数据遍历整个训练集，因为这将非常消耗计算资源。我认为一个很好的办法是根据小批次的其它元素对每个小批次的元素进行分类，赋予每一个元素（1 /从分类目标的距离）的权重。 可悲的是，即使有完善的体系结构，采用K-NN只下到5-4％检测错误 - 使用简单的架构会得到更坏的结果。不过，我已经很少把努力放在高维参数上了。 不过，我真的很喜欢这个方法，因为它好像就是我们“要求”网络运行的更加合理。我们希望在同一流形的点比其它的点更加接近，相对于由一个超平面被分离的其他流形。这相对需要拉伸不同类别流形之间的空间，同时收缩每一个流形。这感觉就像是在简化问题。 具有拓扑性质的数据，例如链接，可能导致无法使用低维网络进行线性分类，无论深度有多大。即使在技术上是可能的情况下，例如螺旋，也是非常具有挑战性的。 为了使神经网络准确的分类数据，多个层次有时是必要的 。此外，传统的神经网络层似乎并不能很好的处理流形数据；即使我们巧妙的手工设置权重，想要紧凑的表达我们想要的转换也是非常困难的。新建层次，特别使用流形相关的机器学习，可能是有用的补充。 （这是一个发展中的研究项目。相关研究信息会在网上公布。我会很高兴听听您对这些想法的反馈：您可以发表评论。对于错别字，技术错误，或任何澄清，我们鼓励你发一个请求在GitHub上。） 致谢 谢谢Yoshua Bengio，迈克尔·尼尔森，达里奥 Amodei，埃利安娜洛奇，雅各布斯坦哈特和Tamsyn Waterhouse的意见和鼓励。

没有卷积神经网络的说法，只有卷积核的说法。电脑图像处理的真正价值在于：一旦图像存储在电脑上，就可以对图像进行各种有效的处理。如减小像素的颜色值，可以解决曝光过度的问题，模糊的图像也可以进行锐化处理，清晰的图像可以使用模糊处理模拟摄像机滤色镜产生的柔和效果。用Photoshop等图像处理，施展的魔法几乎是无止境的。四种基本图像处理效果是模糊、锐化、浮雕和水彩。?这些效果是不难实现的，它们的奥妙部分是一个称为卷积核的小矩阵。这个3*3的核含有九个系数。为了变换图像中的一个像素，首先用卷积核中心的系数乘以这个像素值，再用卷积核中其它八个系数分别乘以像素周围的八个像素，最后把这九个乘积相加，结果作为这个像素的值。对图像中的每个像素都重复这一过程，对图像进行了过滤。采用不同的卷积核，就可以得到不同的处理效果。?用PhotoshopCS6，可以很方便地对图像进行处理。模糊处理——模糊的卷积核由一组系数构成，每个系数都小于1，但它们的和恰好等于1，每个像素都吸收了周围像素的颜色，每个像素的颜色分散给了它周围的像素，最后得到的图像中，一些刺目的边缘变得柔和。锐化卷积核中心的系数大于1，周围八个系数和的绝对值比中间系数小1，这将扩大一个像素与之周围像素颜色之间的差异，最后得到的图像比原来的图像更清晰。浮雕卷积核中的系数累加和等于零，背景像素的值为零，非背景像素的值为非零值。照片上的图案好像金属表面的浮雕一样，轮廓似乎凸出于其表面。要进行水彩处理，首先要对图像中的色彩进行平滑处理，把每个像素的颜色值和它周围的二十四个相邻的像素颜色值放在一个表中，然后由小到大排序，把表中间的一个颜色值作为这个像素的颜色值。然后用锐化卷积核对图像中的每个像素进行处理，以使得轮廓更加突出，最后得到的图像很像一幅水彩画。我们把一些图像处理技术结合起来使用，就能产生一些不常见的光学效果，例如光晕等等。希望我能帮助你解疑释惑。

几何代数中定义的张量是基于向量和矩阵的推广，通俗一点理解的话，我们可以将标量视为零阶张量，矢量视为一阶张量，那么矩阵就是二阶张量。 设 A 为m*p的矩阵， B 为p*n 的矩阵，那么称m*n的矩阵C为矩阵A与B的乘积，  记作 C = AB  其中矩阵C中的第 行第 列元素可以表示为：  m*n矩阵 A 与m*n矩阵 B 的Hadamard积记为A*B. 其元素定义为两个矩阵对应元素的乘积:  Kronecker积是两个任意大小的矩阵间的运算，又称为直积或张量积 CNN： 是一类包含 卷积 计算且具有深度结构的 前馈神经网络 （Feedforward Neural Networks），是 深度学习 （deep learning）的代表算法之一。 图中是一个图形识别的CNN模型。可以看出最左边的船的图像就是我们的输入层，计算机理解为输入若干个矩阵，这点和DNN基本相同。 接着是卷积层（Convolution Layer）,这个是CNN特有的，我们后面专门来讲。卷积层的激活函数使用的是ReLU。我们在DNN中介绍过ReLU的激活函数，它其实很简单，就是ReLU(x)=max(0,x)ReLU(x)=max(0,x)。在卷积层后面是池化层(Pooling layer)，这个也是CNN特有的，我们后面也会专门来讲。需要注意的是，池化层没有激活函数。 　　卷积层+池化层的组合可以在隐藏层出现很多次，上图中出现两次。而实际上这个次数是根据模型的需要而来的。当然我们也可以灵活使用使用卷积层+卷积层，或者卷积层+卷积层+池化层的组合，这些在构建模型的时候没有限制。但是最常见的CNN都是若干卷积层+池化层的组合，如上图中的CNN结构。 　　在若干卷积层+池化层后面是全连接层（Fully Connected Layer, 简称FC），全连接层其实就是我们前面讲的DNN结构，只是输出层使用了Softmax激活函数来做图像识别的分类，这点我们在DNN中也有讲述。 　　从上面CNN的模型描述可以看出，CNN相对于DNN，比较特殊的是卷积层和池化层，如果我们熟悉DNN，只要把卷积层和池化层的原理搞清楚了，那么搞清楚CNN就容易很多了。 首先，我们去学习卷积层的模型原理，在学习卷积层的模型原理前，我们需要了解什么是卷积，以及CNN中的卷积是什么样子的。 大家学习数学时都有学过卷积的知识，微积分中卷积的表达式为：  S(t)=∫x(t−a)w(a)daS(t)=∫x(t−a)w(a)da 离散形式是：  s(t)=∑ax(t−a)w(a)s(t)=∑ax(t−a)w(a) 这个式子如果用矩阵表示可以为：  s(t)=(X∗W)(t)s(t)=(X∗W)(t) 其中星号表示卷积。 如果是二维的卷积，则表示式为： s(i,j)=(X∗W)(i,j)=∑m∑nx(i−m,j−n)w(m,n)s(i,j)=(X∗W)(i,j)=∑m∑nx(i−m,j−n)w(m,n)         在CNN中，虽然我们也是说卷积，但是我们的卷积公式和严格意义数学中的定义稍有不同,比如对于二维的卷积，定义为： s(i,j)=(X∗W)(i,j)=∑m∑nx(i+m,j+n)w(m,n)s(i,j)=(X∗W)(i,j)=∑m∑nx(i+m,j+n)w(m,n)         这个式子虽然从数学上讲不是严格意义上的卷积，但是大牛们都这么叫了，那么我们也跟着这么叫了。后面讲的CNN的卷积都是指的上面的最后一个式子。 　　其中，我们叫W为我们的卷积核，而X则为我们的输入。如果X是一个二维输入的矩阵，而W也是一个二维的矩阵。但是如果X是多维张量，那么W也是一个多维的张量。 　　有了卷积的基本知识，我们现在来看看CNN中的卷积，假如是对图像卷积，回想我们的上一节的卷积公式，其实就是对输出的图像的不同局部的矩阵和卷积核矩阵各个位置的元素相乘，然后相加得到。 举个例子如下，图中的输入是一个二维的3x4的矩阵，而卷积核是一个2x2的矩阵。这里我们假设卷积是一次移动一个像素来卷积的，那么首先我们对输入的左上角2x2局部和卷积核卷积，即各个位置的元素相乘再相加，得到的输出矩阵S的S00S00的元素，值为aw+bx+ey+fzaw+bx+ey+fz。接着我们将输入的局部向右平移一个像素，现在是(b,c,f,g)四个元素构成的矩阵和卷积核来卷积，这样我们得到了输出矩阵S的S01S01的元素，同样的方法，我们可以得到输出矩阵S的S02，S10，S11，S12S02，S10，S11，S12的元素。  最终我们得到卷积输出的矩阵为一个2x3的矩阵S。 再举一个：这里面输入是3个7x7的矩阵。实际上原输入是3个5x5的矩阵。只是在原来的输入周围加上了1的padding，即将周围都填充一圈的0，变成了3个7x7的矩阵。 　　例子里面使用了两个卷积核，我们先关注于卷积核W0。和上面的例子相比，由于输入是3个7x7的矩阵，或者说是7x7x3的张量，则我们对应的卷积核W0也必须最后一维是3的张量，这里卷积核W0的单个子矩阵维度为3x3。那么卷积核W0实际上是一个3x3x3的张量。同时和上面的例子比，这里的步幅为2，也就是每次卷积后会移动2个像素的位置。 　　最终的卷积过程和上面的2维矩阵类似，上面是矩阵的卷积，即两个矩阵对应位置的元素相乘后相加。这里是张量的卷积，即两个张量的3个子矩阵卷积后，再把卷积的结果相加后再加上偏倚b。 　　7x7x3的张量和3x3x3的卷积核张量W0卷积的结果是一个3x3的矩阵。由于我们有两个卷积核W0和W1，因此最后卷积的结果是两个3x3的矩阵。或者说卷积的结果是一个3x3x2的张量。 仔细回味下卷积的过程，输入是7x7x3的张量，卷积核是两个3x3x3的张量。卷积步幅为2，最后得到了输出是3x3x2的张量。如果把上面的卷积过程用数学公式表达出来就是： s(i,j)=(X∗W)(i,j)+b=∑k=1n_in(Xk∗Wk)(i,j)+bs(i,j)=(X∗W)(i,j)+b=∑k=1n_in(Xk∗Wk)(i,j)+b 其中，n_inn_in为输入矩阵的个数，或者是张量的最后一维的维数。XkXk代表第k个输入矩阵。WkWk代表卷积核的第k个子卷积核矩阵。s(i,j)s(i,j)即卷积核WW对应的输出矩阵的对应位置元素的值。 对于卷积后的输出，一般会通过ReLU激活函数，将输出的张量中的小于0的位置对应的元素值都变为0。         相比卷积层的复杂，池化层则要简单的多，所谓的池化，个人理解就是对输入张量的各个子矩阵进行压缩。假如是2x2的池化，那么就将子矩阵的每2x2个元素变成一个元素，如果是3x3的池化，那么就将子矩阵的每3x3个元素变成一个元素，这样输入矩阵的维度就变小了。 　　要想将输入子矩阵的每nxn个元素变成一个元素，那么需要一个池化标准。常见的池化标准有2个，MAX或者是Average。即取对应区域的最大值或者平均值作为池化后的元素值。 　　下面这个例子采用取最大值的池化方法。同时采用的是2x2的池化。步幅为2。 　　首先对红色2x2区域进行池化，由于此2x2区域的最大值为6.那么对应的池化输出位置的值为6，由于步幅为2，此时移动到绿色的位置去进行池化，输出的最大值为8.同样的方法，可以得到黄色区域和蓝色区域的输出值。最终，我们的输入4x4的矩阵在池化后变成了2x2的矩阵。进行了压缩。 以AlexNet网络为例，以下是该网络的参数结构图 AlexNet网络的层结构如下： 1.Input:  图像的尺寸是227*227*3. 2.Conv-1:  第1层卷积层的核大小11*11，96个核。步长(stride)为4，边缘填充（padding）为0。 3.MaxPool-1:  池化层-1对Conv-1进行池化，尺寸为3*3，步长为2. 4.Conv-2:  核尺寸：5*5，数量：256，步长：1，填充：2 5. MaxPool-2:  尺寸：3*3，步长：2 6.Conv-3:  核尺寸：3*3，数量：384，步长：1，填充：1 7: Conv-4:  结构同Conv-3. 8. Conv-5:  核尺寸：3*3，数量：256，步长：1，填充：1 9. MaxPool-3 : 尺寸：3*3，步长：2 10.FC-1:  全连接层1共有4096个神经元。 11.FC-1:  全连接层2共有4096个神经元。 12.FC-3:  全连接层3共有1000个神经元。 接下来，我们对以上的网络结构进行描述： 1.如何计算张量（图像）的尺寸； 2.如何计算网络的总参数； 卷积层（Conv Layer）的输出张量（图像）的大小 定义如下： O=输出图像的尺寸。 I=输入图像的尺寸。 K=卷积层的核尺寸 N=核数量 S=移动步长 P =填充数 输出图像尺寸的计算公式如下： 输出图像的通道数等于核数量N。 示例：AlexNet中输入图像的尺寸为227*227*3.第一个卷积层有96个尺寸为11*11*3的核。步长为4，填充为0. 输出的图像为55*55*96（每个核对应1个通道）。 池化层（MaxPool Layer）的输出张量（图像）的大小 定义如下： O=输出图像的尺寸。 I=输入图像的尺寸。 S=移动步长 PS=池化层尺寸 输出图像尺寸的计算公式如下： 不同于卷积层，池化层的输出通道数不改变。 示例：每1层卷积层后的池化层的池化层尺寸为3*3，步长为2。根据前面卷积层的输出为55*55*96。池化层的输出图像尺寸如下： 输出尺寸为27*27*96。 全连接层（Fully Connected Layer）的输出张量（图像）的大小 全连接层输出向量长度等于神经元的数量。 通过AlexNet改变张量（图像）的尺寸的结构如下: 在AlexNet网络中，输出的图像尺寸为227*227*3. Conv-1,尺寸变为55*55*96,池化层后变为27*27*96。 Conv-2,尺寸变为27*27*256,池化层后变为13*13*256. Conv-3,尺寸变为13*13*384,经过Conv-4和Conv-5变回13*13*256. 最后,MaxPool-3尺寸缩小至6*6*256. 图像通过FC-1转换为向量4096*1.通过FC-2尺寸未改变.最终,通过FC-3输出1000*1的尺寸张量. 接下来,计算每层的参数数量. Conv Layer参数数量 在CNN中,每层有两种类型的参数:weights 和biases.总参数数量为所有weights和biases的总和. 定义如下: WC=卷积层的weights数量 BC=卷积层的biases数量 PC=所有参数的数量 K=核尺寸 N=核数量 C =输入图像通道数 卷积层中,核的深度等于输入图像的通道数.于是每个核有K*K个参数.并且有N个核.由此得出以下的公式. 示例:AlexNet网络中,第1个卷积层,输入图像的通道数(C)是3,核尺寸(K)是11*11,核数量是96. 该层的参数计算如下： 计算出Conv-2, Conv-3, Conv-4, Conv-5 的参数分别为 614656 , 885120, 1327488 和884992.卷积层的总参数就达到3,747,200. MaxPool Layer参数数量 没有与MaxPool layer相关的参数量.尺寸,步长和填充数都是超参数. Fully Connected (FC) Layer参数数量 在CNN中有两种类型的全连接层.第1种是连接到最后1个卷积层,另外1种的FC层是连接到其他的FC层.两种情况我们分开讨论. 类型1: 连接到Conv Layer 定义如下: Wcf= weights的数量 Bcf= biases的数量 O= 前卷积层的输出图像的尺寸 N = 前卷积层的核数量 F = 全连接层的神经元数量 示例:  AlexNet网络中第1个FC层连接至Conv Layer.该层的O为6,N为256,F为4096. 参数数目远大于所有Conv Layer的参数和. 类型2: 连接到FC Layer 定义如下: Wff= weights的数量 Bff= biases的数量 Pff= 总参数的数量 F= 当前FC层的神经元数量 F-1= 前FC层的神经元数量 示例: AlexNet的最后1个全连接层,  F-1=4096,F=1000. AlexNet网络中张量(图像)尺寸和参数数量 AlexNet网络中总共有5个卷积层和3个全连接层.总共有62,378,344个参数.以下是汇总表.         TensorFlow是谷歌基于DistBelief进行研发的第二代人工智能学习系统，其命名来源于本身的运行原理。Tensor(张量)意味着N维数组，Flow(流)意味着基于数据流图的计算，TensorFlow为张量从流图的一端流动到另一端计算过程。TensorFlow是将复杂的数据结构传输至人工智能神经网中进行分析和处理过程的系统。TensorFlow可被用于语音识别或图像识别等多项机器深度学习领域，对2011年开发的深度学习基础架构DistBelief进行了各方面的改进，它可在小到一部智能手机、大到数千台数据中心服务器的各种设备上运行。