1、神经网络原理,第一章,1,第一章 概论,神经网络种类生物神经网络（Biological Neural Networks）人工神经网络（Artificial Neural Networks),神经网络原理,第一章,2,1.1 生物神经元及生物神经网络（Biological Neuron and Biological Neural Networks） 1.2 人工神经网络(Aritificial Neural networks) 1.3 ANN的发展 (Development of ANN) 1.4 ANN与AC (ANN and Automatic Control),神经网络原理,第一章,3,1
2、.1 生物神经元网络,1.1.1生物神经元 1.1.2人脑神经网络,神经网络原理,第一章,4,1.1.1 生物神经元。,人的大脑由1012个神经元构成，神经元互相连接成神经网络 神经元组成：细胞体为主体 1873年, 意大利 Cajai 银渗透法 发现Golgi 体 神经元功能：刺激、兴奋、传导、效应 形状图 神经元类型 原则 突触传递信息特点,神经网络原理,第一章,5,形状图,神经网络原理,第一章,6,类型,单极无脊椎动物 双极视网膜神经元neuron 多极脊椎、锥体、小脑蒲根,神经网络原理,第一章,7,原 则,Cajai将Golgi方法用于神经元研究，得到两条原则，奠定了神经元间信息传递的
3、理论基础 原则1 动态极化原则（即信号沿确定方向流动）树突 轴突 突触 其他神经元 原则2 连接的专一性原则神经元之间元细胞质的连续神经元不构成随机网络每一神经元与一些神经元形成特殊的精确的联系,神经网络原理,第一章,8,突触传递信息特点,1 时延性 : （0.31ms） 2 综合性 ： 时间与空间的累加 3 类型： 兴奋与抑制 4 脉冲与电位转换: （D/A功能） 5 速度： 1150m/s 6 不应期（死区）： 35ms 7 不可逆性（单向） 8 可塑性 : 强度可变 ,有学习功能,神经网络原理,第一章,9,1.1.2 人脑神经网络,脑神经系统主要组成部分 大脑皮层由许多功能区组成（运动、
4、听觉、视觉等） 神经元群其区域性结构：遗传其功能：后天对环境的适应于学习得来（自组织特性Self-Organization）子功能模块的并行关系 a) 连接形式 b) 大脑处理信息的特点 C) 生物学研究成果,神经网络原理,第一章,10,连接形式,辐射式：一到多 聚合式：多到一 链锁式：空间上加强与扩大作用 环式：反馈作用（可正可负）,神经网络原理,第一章,11,辐射式：一到多,神经网络原理,第一章,12,聚合式：多到一,神经网络原理,第一章,13,链锁式：空间上加强与扩大作用,神经网络原理,第一章,14,环式：反馈作用（可正可负),神经网络原理,第一章,15,大脑处理信息的特点,分布存储与冗
5、余性：记忆在大量元中，每个元存在许多信息的部分内容，信息在神经网络中的记忆反映在神经元间的突触连接强度上（weights）。 并行处理：NN既是处理器又是存储器（并行处理不同于并行机）。 信息处理与存储合一：每个元兼有二者功能。 可塑性与自组织性：可塑性是学习记忆的基础。 鲁棒性：高连接度导致一定的误差和噪声不会使网络性能恶化。是智能演化的重要因素。,神经网络原理,第一章,16,BNN研究成果,H-H方程 英 A.L.Hodgkin与A.F.Huxley 长枪乌贼鱼电器特性 得到四个变量的非线性微分方程，获Nobel生物医学奖许多NL问题可用此解释e.g. 自激振荡 chaos. 多重稳定性等
6、,神经网络原理,第一章,17,1.2 人工神经网络,研究大脑的目的：a）揭示功能造福人类b）构造ANN用于工程及其他领域 （生物神经网络的模型化：ANN）BNN modeling ANNANN非BNN模型，而是对结构及功能大大简化后保留主要特性的某种抽象与模型。,神经网络原理,第一章,18,神经网络直观理解,神经网络是一个并行和分布式的信息处理网络结构，它一般由许多个神经元组成，每个神经元只有一个输出，它可以连接到很多其他的神经元，每个神经元输入有多个连接通道，每个连接通道对应于一个连接权系数。,神经网络原理,第一章,19,人工神经网络内容,1.2.1人工神经元模型（Artificial Ne
7、uron model） 1.2.2人工神经网络的构成（structure of ANN） 1.2.3人工神经网络的学习（learning or training of ANN） 1.2.4 ANN与BNN的特点比较(Comparison of features between ANN and BNN),神经网络原理,第一章,20,1.2.1 人工神经元模型BNN 信息传递过程 为 MISO 系统, 信号为脉冲，当脉冲到达突触前膜时，前膜释放化学物质，结果在突触后产生突触后电位，其大小与脉冲密度有关（时间总合效应）。各通道都对电位产生影响（空间总合效应）。,神经网络原理,第一章,21,BNN 脉
8、冲， ANN 模拟电压ANN等效模拟电压近似BNN脉冲密度，仅有空间累加无时间累加（可认为时间累加已隐含于等效模拟电压之中）ANN中未考虑时延、不应期及疲劳等可建立更为精确的模型，但一般NN研究无此必要（方法论）,神经网络原理,第一章,22,神经元模型（1）,神经元是人工神经网络的基本处理单元，它一般是一个多输入/多输出的非线性元件。神经元输出除受输入信号的影响之外，同时也受到神经元内部其他因素的影响，所以在人工神经元的建模中，常常还加有一个额外输入信号，称为偏差（bais），有时也称为阀值或门限值。,神经网络原理,第一章,23,神经元模型（2）,。,神经网络原理,第一章,24,抽象可得数学表
9、达式：,数值（weights)阀值（threshold）作用函数（activated transfer function）,神经网络原理,第一章,25,作用函数的基本作用,1、控制输入对输出的激活作用； 2、对输入、输出进行函数转换； 3、将可能无限域的输入变换成指定的有限范围内的输出。,神经网络原理,第一章,26,几种常用的作用函数,1、阀值型（硬限制型) 2、线性型3、S型函数（Sigmoid）4、辐射基函数,神经网络原理,第一章,27,1、阀值型（硬限制型）,神经网络原理,第一章,28,神经网络原理,第一章,29,2、线性型 a) 全线性,神经网络原理,第一章,30,b) 正线性,神经网
10、络原理,第一章,31,3、S型函数（Sigmoid） a) 对数正切 y=1/(e-n+1),神经网络原理,第一章,32,b)双曲正切 y=tanh(n),神经网络原理,第一章,33,4.辐射基函数 a) 高斯函数,神经网络原理,第一章,34,b)三角波函数,神经网络原理,第一章,35,人工神经网络的构成,基本模型连接的几种基本形式前向网络（feed-forward Networks）回归网络（recurrent Networks）互联网络（全互连与局部互连）也可是以上几种形式的组合,神经网络原理,第一章,36,神经网络基本模型,神经网络原理,第一章,37,前向网络,结构图,神经网络原理,第一
11、章,38,前向网络特点,1. 神经元分层排列，可又多层2. 层间无连接3. 方向由入到出感知网络（perceptron即为此）应用最为广泛,神经网络原理,第一章,39,回归网络,全反馈结构图,神经网络原理,第一章,40,Inner RNN结构图,神经网络原理,第一章,41,回归网络特点,Output 与 Input相连（全反馈）特点：1. 内部前向2. 输出反馈到输入例： Fukushima网络Inner recurrent特点：层间元互相连接,神经网络原理,第一章,42,互联网络,结构图,神经网络原理,第一章,43,互联网络特点,每个元都与其它元相连例： Hopfield Boltzmann
12、机,神经网络原理,第一章,44,1.2.3人工神经网络的学习,ANN研究中的核心问题How to determine the weights(加权系数)学习规则简介,神经网络原理,第一章,45,学习规则,1）直接设计计算 e.g. Hopfield 作优化计算2）学习得到,即通过训练(training),神经网络原理,第一章,46,常用学习规则,a) Hebb学习D.Hebb1949年提出：两元同时兴奋，则突触连接加强 b)学习规则 误差校正规则 梯度方法 （BP即为其中一种）,神经网络原理,第一章,47,c) 相近学习规则使ART SOFM 自组织竞争用此规则,神经网络原理,第一章,48,A
13、NN 与BNN比较,数学观点ANN的8项特征ANN与BNN的比较,神经网络原理,第一章,49,数学观点,ANN使一个以处理单元（PE： process element）为节点，用加权有向弧连接而成的有向图。 （1）每个节点有一个状态变量;（2）节点i到节点j有一个连接权值;（3）每个节点有一个阀值；（4）每个节点定义一个变换函数。 PE是对BN的模拟，有向弧是对“轴突树突”对的模拟。 综合全部有向弧形成的互连矩阵强度对应于人脑中信息的长期记忆。 PE由NL函数实现单元I/O的NL映射，即时活跃值对应于人脑中的短期记忆。,神经网络原理,第一章,50,ANN的8项特征,处理单元 活跃状态 连接模型
14、 传递规则参考 胡守仁 书,活跃规则 输出规则 学习规则 环境,神经网络原理,第一章,51,ANN与BNN的比较,神经网络原理,第一章,52,1.3 ANN的发展,ANN的发展史 ANN的现状1）NN研究学术机构2）NN研究的主要问题方向：1. 理论研究2. 应用研究,神经网络原理,第一章,53,ANN的发展史,20世纪40年代：兴起与萧条1943年 M-P model 心理学家W.S.McCulloch和数学家W.Pitts提出：形式神经元的数学描述与构造方法与阀值神经元model基本相同，权值固定1949年 心理学家D.O.Hebb提出突触强度可调的假设：学习过程发生在突触上Hebb规则：
15、,神经网络原理,第一章,54,20世纪50年代 , 第一次高潮,1957年：F.Rosenblatt提出感知网络（Perceptron）模型，这是第一个完整的ANN基本构成为阀值单元、网络初具并行处理、分布存储、学习等功能用于模式识别、联想记忆引起NN研究的第一次高潮,神经网络原理,第一章,55,20世纪60年代,低潮,1969年 Minsky和Papert编写的Perceptron出版，使NN的研究进入低潮Problems：single lager P.仅可解线性问题，NL XOR无法求解；求解XOR 应该是MLP，但MLP是否有意义，理论上不能得到有力证明当时现状：数字计算机发达，认为可解
16、决一切问题工业水平上，NNC不存在但工作并未停止。,神经网络原理,第一章,56,1975年 Albus提出CMAC网络（Cerebella Model Articulation Controller） 1977年 英国 Grossberg提出ART网络 （Adaptive Resonance Theory）Kohonen提出自组织映射理论福岛邦彦（K.Fukushima）提出认识机（Neocognitron）模型甘利俊（S.Amari）：NN数学理论 其它NL系统理论Prigogine 非平衡系统的自组织理论Haken 协同学,神经网络原理,第一章,57,20世纪80年代 第二次高潮 Reas
17、ons: 1）AI理论、 Neumann计算机功能受挫（智能、视觉处理等） 2）ANN有新成果、脑科学、神经科学 、 VLSI、光电技术的发展,神经网络原理,第一章,58,J.J.Hopfield 1982年 Hopfield网络模型：网络能量、网络稳定性判据1984年 HNN用电子线路 实现 HNN用途：联想记忆、优化计算机的新途径 1984年 Hilton 引入模拟退火法，提出Boltzmann机网络 1986年 Rumelhart提出EBP学习算法，解决了MLP隐含层的 weights 学习问题（error Back-Propagation）,神经网络原理,第一章,59,1987年 Ni
18、elson提出了对向传播（Counter Propagation）神经网络 1988年 L.O.Chua提出细胞神经网络（CNN）模型 自1958年来已有近40种NN model,神经网络原理,第一章,60,NN研究学术机构,1987年 国际神经网络学会 定期召开ICNN会议1988年 IEEE Transaction on Neural Networks创刊1990.12 CCNN（中国）第一次会议1991年 中国神经网络学会,神经网络原理,第一章,61,理论研究,利用神经生物和认知科学研究大脑思维及智能的机理 利用上一项成果，用数理方法探索智能水平更高的ANN model1）深入研究网络算
19、法和性能 e.g.稳定性、收敛性、容错性、鲁棒性 2）开发性的网络数据理论：神经网络动力学、非线性神经场,神经网络原理,第一章,62,应用研究,神经网络软件模拟和硬件实现的研究NN在各个技术领域中应用研究e.g.模式识别、信号处理、知识工程、专家系统、优化组合、智能控制等,神经网络原理,第一章,63,1.4 ANN 与自动控制,需求是发明之母控制领域的三个需求AC历史NN在AC上应用的吸引力NN在AC上的应用,神经网络原理,第一章,64,AC需求,处理不断复杂的对象 完成不断复杂的设计 在对象和环境的知识所知甚少的情况下达到以上两点要求,神经网络原理,第一章,65,AC历史,1932年 Nyq
20、uist反馈放大器 20世纪60年代 状态空间理论20世纪70年代 大系统理论20世纪90年代 智能控制方法及理论,神经网络原理,第一章,66,NN在AC上应用的吸引力,任何精度逼近任意连接非线性函数（NL系统的统一描述） 对复杂不确定问题具有自适应、学习能力 并行机制，解决实时计算问题，具有冗余性容错能力 信息融合（Fusion），多媒体技术 神经计算：用于AC为优化、矩阵求逆，解方程等计算 易于VLSI、光学IC、计算机虚拟实现NN,神经网络原理,第一章,67,NN在AC上的应用,1）系统辨识 2）系统控制3）优化计算 4）故障诊断及容错控制,神经网络原理,第一章,68,1）系统辨识,系统
21、辨识 NN系统辨识的统一模式NN非算法性，可用参数为加权NN模型作为物理实现，可用于在线控制问题：网络模型、结构选择、快速学习算法、收敛性分析、输入激励信号选择,神经网络原理,第一章,69,2）系统控制,控制提供某种模型充当各类控制器作为计算部件实现优化计算 对不确定问题： NL系统的自适应控制线性 NL无模型直接自适应（single Neuron控制器）,神经网络原理,第一章,70,3）优化计算,神经网络求解代数方程 神经网络在预测控制在线求矩阵逆 神经网络在LQR问题中解ARE,神经网络原理,第一章,71,4）故障诊断及容错控制,神经网络用于故障诊断1) 基于模型（BP）2) 基于自组织网络（SOM） 神经网络用于容错控制1）基于整体性设计2）基于监督学习控制器,神经网络原理,第一章,72,REVIEW,BNN 与ANN的基本特征 ANN的作用函数,
