ImageVerifierCode 换一换
格式:PPT , 页数:63 ,大小:688.50KB ,
资源ID:374239      下载积分:2000 积分
快捷下载
登录下载
邮箱/手机:
温馨提示:
如需开发票,请勿充值!快捷下载时,用户名和密码都是您填写的邮箱或者手机号,方便查询和重复下载(系统自动生成)。
如填写123,账号就是123,密码也是123。
特别说明:
请自助下载,系统不会自动发送文件的哦; 如果您已付费,想二次下载,请登录后访问:我的下载记录
支付方式: 支付宝扫码支付 微信扫码支付   
注意:如需开发票,请勿充值!
验证码:   换一换

加入VIP,免费下载
 

温馨提示:由于个人手机设置不同,如果发现不能下载,请复制以下地址【http://www.mydoc123.com/d-374239.html】到电脑端继续下载(重复下载不扣费)。

已注册用户请登录:
账号:
密码:
验证码:   换一换
  忘记密码?
三方登录: 微信登录  

下载须知

1: 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。
2: 试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓。
3: 文件的所有权益归上传用户所有。
4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
5. 本站仅提供交流平台,并不能对任何下载内容负责。
6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

版权提示 | 免责声明

本文(第四章 突触动力学 非监督学习.ppt)为本站会员(explodesoak291)主动上传,麦多课文库仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知麦多课文库(发送邮件至master@mydoc123.com或直接QQ联系客服),我们立即给予删除!

第四章 突触动力学 非监督学习.ppt

1、2018/10/6,1,第四章 突触动力学 非监督学习,复习1 Heb学习法则简化后可得,2018/10/6,2,第四章 突触动力学 非监督学习,复习2 竞争学习法则其中含有一个陡峭逻辑响应函数,2018/10/6,3,第四章 突触动力学 非监督学习,复习3 微分Heb学习法则,2018/10/6,4,第四章 突触动力学 非监督学习,复习4 微分竞争学习法则,2018/10/6,5,第四章 突触动力学 非监督学习,信号的Heb学习 竞争学习 微分Heb学习 微分竞争学习,2018/10/6,6,一 信号的Heb学习,通过求解Heb学习法则的公式(132) 可获得如下积分方程(133),2018

2、/10/6,7,一 信号的Heb学习,近期的影响与遗忘 渐进相关编码 Heb相关解码,2018/10/6,8,近期的影响与遗忘,Heb学习遵循的是指数加权平均的样本模式。式中的遗忘项为 。上述遗忘项产生了积分方程中先前突触的指数系数。说明学习的同时也在遗忘,而且是呈指数衰减。(132)中的遗忘项 产生了(133)中对先前知识 的指数权 。,2018/10/6,9,近期的影响与遗忘,实际上遗忘定律提供的最简单的局部非监督学习定律为:(134) 说明了两个关键特征:1 仅依赖于局部信息,即现在的突触强度 。2 呈指数律达到平衡,可实时操作。,2018/10/6,10,渐进相关编码,(135)X和Y

3、:双极信号 和 。 , = 1,-1两种极端情况:1 2实际中必须使用一个对角衰减记忆指数矩阵 来补偿固有的信息指数衰减。,2018/10/6,11,渐进相关编码,(142)X和Y表示二极信号矢量矩阵。简单说,用对角衰减矩阵W的目的就是对过去的联想模式取一段学习时间,而给最近的m个联想模式取更短一些的学习时间。达到补偿指数衰减的目的。,2018/10/6,12,Heb相关解码,考虑m个二极矢量联想对 的二极相关编码。 表示n维二极空间 中的一个点, 表示p维二极空间 中的一个点。二极联想对 对应于二值矢量联想对 。 表示n维布尔空间 中的一个点, 代表p维空间 中的一个点。,2018/10/6

4、,13,Heb相关解码,可以看出,把0换成-1, 就会变成 。这样,若加权矩阵W为单位阵I,二极联想对的Heb编码就对应于(142)的加权Heb编码方案:(143),2018/10/6,14,Heb相关解码,可用Heb突触矩阵M对 和 神经元信号进行双向处理。可把神经元信号前向通过M,后向通过 。这里仅考察前向的情况。二极矢量 提供给神经元系统。有若干 , 越接近 ,解码精度越高。,2018/10/6,15,Heb相关解码,信噪分解(144)(145)(146),2018/10/6,16,Heb相关解码,其中 这里 为信号矢量而 为噪声矢量。 为校正系数,使每个 尽可能从符号上接近于 。把 或

5、其它靠近的矢量Y通过 ,校正性质依然成立。用神经元网络从有代表性的训练样本中估计连续函数f时,有一个连续的假设。,2018/10/6,17,Heb相关解码,假定异联想样本 从连续函数f上取样,那么输入的微小变化必然引起输出的微小变化。相同的比特数-不同的比特数(154),2018/10/6,18,Heb相关解码, 若两个二值矢量 和 靠近 ,相同的比特数大于不同的比特数,那么 。极端情况下 , 。 时, ,校正系数将度量上含糊不清的矢量丢弃掉,不参与求和。 与 相差较远, 。极端情况下 ,则 。,2018/10/6,19,Heb相关解码,Heb编码步骤:1 把二值矢量 变为双极矢量 ;2 对邻

6、接的相关编码联想求和若TAM假设成立则对同步的TAM输入 ,把激励同步阈值化为信号,就产生了 :,2018/10/6,20,Heb相关解码,Heb编码步骤(例证):一个三步极限环位矢量: 将位矢量转换成二极矢量,2018/10/6,21,Heb相关解码,产生TAM矩阵,2018/10/6,22,Heb相关解码,位矢量 通过T产生:因此产生前向极限环后向情况类似。,2018/10/6,23,二 竞争学习,确定性竞争学习定律:(165)也可写为 这里用的是非线性遗忘项 ,而Heb学习定律用的是线性遗忘项。因此两种学习方法的区别在于它们如何遗忘而不是如何学习。,2018/10/6,24,二 竞争学习

7、,两种情况下都有当第j个竞争神经元获胜时 ,突触 以指数率迅速编码信号 。与Heb突触不同的是,竞争突触当突触后神经元失败时,并不遗忘,此时 。因此(165)就简化为不改变的形式 。而Heb学习则简化为(134)的形式 。,2018/10/6,25,二 竞争学习,Heb学习是分布式的,对每个样本模式进行编码,因此学习新模式后,会遗忘每个所学模式的部分。 而竞争学习不是分布式的,如果样本模式 或 坚持足够长的学习,竞争突触就会成为“grandmother”突触,突触值很快等于模式 或 ,其它突触不会编码这种模式。?,2018/10/6,26,二 竞争学习,竞争作为指示器 竞争作为相关检测器 渐进

8、质心估计 竞争协方差估计,2018/10/6,27,竞争作为指示器,质心估计需要竞争信号 近似于局部样本模式 的指示函数 (168)这样如果样本x来自于区域 ,则第j个竞争元获胜,其它神经元失败。(169),2018/10/6,28,竞争作为指示器,上式是 的神经元激励,使用的是随机线性竞争学习和简单的加模型。 与 是随机行矢量, 是 竞争神经元向第 j个神经元发出的阻性反馈。(170),2018/10/6,29,竞争作为指示器,其中 是阻性反馈值,它等于突触加权信号的和式。式(170)中 为二值阈值化函数,因此该式可简化为:当第j个神经元获胜时 ,如果第k个神经元获胜,则 ? 竞争神经元激励

9、自己(或邻近区域),同时禁止其它(或较远的区域)。,2018/10/6,30,竞争作为相关检测器,度量指示函数:(171)于是竞争学习就简化为信号相关检测。这里要用到等范数的特性。那么如何将度量竞争学习简化为相关检测,设在每个时刻的突触矢量具有相等的正的有限的范数值:,2018/10/6,31,竞争作为相关检测器,(173)从(4-171)知:第j个竞争神经元获胜当且仅当:(174177),2018/10/6,32,竞争作为相关检测器,利用等范数特性并进一步简化可得:(179)可看出当且仅当输入信号模式 x 与 最大相关时,第j个竞争元才竞争获胜。余弦定律:度量竞争学习的几何解释:第j个神经元

10、当且仅当输入模式更平行于突触矢量时才获胜。,2018/10/6,33,渐进的质心估计,简化的竞争学习定律:(181)突触矢量 倾向于等于区域 的质心,至少也是平均意义上的质心。具体的细节将在第六章讨论。结论是平均突触矢量以指数规律迅速收敛到质心。应用此特性可以把训练样本只通过一次或少数的几次即可。,2018/10/6,34,竞争协方差估计,质心估计提供概率密度函数的一阶估计,而局部的协方差估计提供二阶描述。先将竞争学习规律扩展到渐进估计条件协方差矩阵 。(189)这里 表示 的质心。每个确定类 都有一个质心。,2018/10/6,35,竞争协方差估计,Borel测度随机矢量y的均方误差优化估计

11、是误差估计理论的一个重要定理:(190)其中 为Borel测度随机矢量函数。,2018/10/6,36,竞争协方差估计,每一步迭代中估计未知的质心 作为当前突触矢量 。这样 就成为一个误差条件协方差矩阵。对于获胜突触矢量有下列随机微分方程算法(191-192),2018/10/6,37,竞争协方差估计,如果第i个 神经元在 度量竞争中失败,则 (193)(194),2018/10/6,38,三 微分Heb学习,确定的微分Heb学习定律:(204)及其简化形式 (205)从样本数据的模糊认知映射的动态估计中提出。直觉上讲,Heb相关促进同时激励单元中伪因果联想。而微分相关则可以估计激励单元中同时

12、的,假定为因果的变化。,2018/10/6,39,三 微分Heb学习,模糊认知映射 自适应因果推理 Klopf的驱动增强模型 伴随变化作为统计协方差 脉冲编码微分Heb学习,2018/10/6,40,模糊认知映射,模糊认知映射(FCMS)是带有反馈的模糊正负号的有向图。有向边 从因果概念到概念 表示 对 因果程度的测度。边 取值于模糊因果空间 ,表示没有因果关系。 表示因果增加, 随 的增加而增加,随其减小而减小。 表示因果减小,即 随 的增加而减小。,2018/10/6,41,模糊认知映射,图4.2,外国投资,矿业,雇用黑人,白人种族 激进主义,工作保 留法律,黑人种 族联合,种族隔离,政府

13、管 理力度,民族政党 支持者,2018/10/6,42,模糊认知映射,FCM的因果连接矩阵:,2018/10/6,43,模糊认知映射,上图的TAM记忆过程:从外国投资政策开始,即这样:箭头后为阈值化操作,1/2作为门限值。,2018/10/6,44,模糊认知映射,零因果输入产生零因果输出。由于此处测试外国投资,因此 保持为1。下一步下一步因此 是FCM动态系统的固定点。,2018/10/6,45,自适应因果推理,当我们观察两个变量之间的伴随变化或滞后变化,要推出其间的因果关系,若A改变时B也改变,则猜想它们之间有因果关系,相关改变越大,因果关系越准确。 时间导数测值变化,导数的乘积将这些变化关

14、联起来。这就导出了简单的微分Heb学习规则,2018/10/6,46,自适应因果推理,其中 为被动衰减项,它强制不改变的概念为零因果。 伴随变化项 表明因果性随邻接概念的变化增加或减少,导数可正可负,若 , 都增加或都减少,导数乘积为正,否则为负,该项提供了一个简单的因果时间方向。,2018/10/6,47,Klopf的驱动增强模型,Harry Klopf单独提出如下微分Heb学习的离散变量:增强驱动模型中,强行加入几个限制。神经元膜电势 和 必须遵循加性激励规则:,2018/10/6,48,Klopf的驱动增强模型,微分形式的驱动增强模型为:突触幅度 增强突触的可塑性,假定第ij个突触被激励

15、时 ,则上式可改写为: 。一般 项很小,用以阻止快速遗忘,因此上式就变为:,2018/10/6,49,伴随变化作为统计协方差,伴随变化类似于协方差。微分Heb学习中将变化解释为时间的改变,伴随的是耦合或乘积。另外还可以从空间的角度将变化解释为统计方差或协方差。 协方差学习规则的形式如下:加入遗忘项一方面保持突触有限,另一方面建立遗忘的模型。,2018/10/6,50,伴随变化作为统计协方差,上式描述突触随机过程的时间进化。进一步将上式写为:可以用实际观察值来代替未知平均值。如何在每个时刻估计未知的均值?可以用稍微滞后的随机近似估计,martingale假设用现在估计将来,或者用过去估计现在。,

16、2018/10/6,51,伴随变化作为统计协方差,上述分形接线假设的精度随着s靠近t而提高。该式表示了一种合理的期望,前提是信号过程具有良好的行为。该假设的离散形式如下:,2018/10/6,52,伴随变化作为统计协方差,这样方差项就可以简化为时间上的伴随变化项。学习规则也就成了典型的Heb差分学习:从 开始递归上式可得到:,2018/10/6,53,脉冲编码的微分Heb学习,脉冲编码信号函数:(239) (240)其中 和 都是脉冲函数,在t时刻 为1,其余地方为0。速度微分特性(脉冲编码信号):,2018/10/6,54,脉冲编码的微分Heb学习,利用速度微分特性,可得到脉冲编码微分Heb

17、学习规则:当没有脉冲出现,即 时,简化为随机信号学习规则。,2018/10/6,55,脉冲编码的微分Heb学习,用双极信号代替二值信号,接着假定脉冲及其期望频率分别相互独立,将上式的平均行为简化为:即随机信号Heb学习规则的总体平均等价于典型的确知信号Heb学习规则。,2018/10/6,56,四 微分竞争学习,微分竞争学习规则为:用速度微分特性代替上式中的 ,那么当第j个 的神经元初次竞争获胜时,上式就退化为随机竞争学习:,2018/10/6,57,四 微分竞争学习,此时 。如果第j个神经元连续获胜, 很快接近于1,学习就会停止。这样就阻止了第j个神经元获胜太频繁,否则会过早编码一个新的 。

18、编码不稳定,可用自组织共振模型来解决这一问题。在非微分竞争学习中,获胜的神经元趋向于一直获胜,给第j个神经元的激励超过其他竞争对手。?,2018/10/6,58,四 微分竞争学习,微分竞争学习中。一旦第j个神经元保证竞争获胜,获胜的信号 会迅速停止改变。竞争信号变化率 近似于监督增强函数 ,他们都是奖励正信号惩罚负信号,都迅速估计出未知模式类中心。但是增强函数 需要实时神经元“知道”并使用模式样本的转换类隶属度。,2018/10/6,59,四 微分竞争学习,非监督信号变化 不依赖于未知隶属度关系。实际上它同时估计这些信息与获胜率信息。而增强函数忽略获胜信息。所以尽管微分竞争学习用很少的信息,但

19、它与监督竞争学习具有相比拟的作用。,2018/10/6,60,微分竞争学习作为 调制,离散(脉冲编码)差分竞争学习规则:(261)表示了神经元的自适应 调制。通信理论中, 调制系统传输的是相邻采样的幅度差分而不是采样幅度本身。一个 调制系统可以传输 信号,表明基本采样波形局部增加或减少。,2018/10/6,61,微分竞争学习作为 调制,可以将信号差分近似为激励的差分:这里的 定义如下:,2018/10/6,62,微分竞争学习作为 调制,符号算子固定了 调制的步长。像(261)所示的变量步长就导致了自适应 调制。信号饱和长时间后,激励差分仍保持对激励变量的敏感。,2018/10/6,63,今天就到这里,谢谢大家,

copyright@ 2008-2019 麦多课文库(www.mydoc123.com)网站版权所有
备案/许可证编号:苏ICP备17064731号-1