第八章模 糊联想记忆.ppt

1、1,第八章 模 糊 联 想 记 忆,神 经 网 络 和 模 糊 系 统,罗军辉二零零三年十二月,2,主要内容,一、模糊系统和模糊联想记忆 二、模糊联想记忆与神经元联想记忆的区别和联系 三、模糊Hebb FAMs 四、联想输出和“去模糊” 五、自适应FAM系统 六、举例：倒立摆,3,FAM的引出,4,模糊系统与超立方体,1.模糊集类似超立方体 中的点。 2.立方体中点之间存在距离，利用距离可以测度模糊集的大小和模糊集之间的包含度。 3.立方体在空间中存在某种关系，因此两个立方体中的点存在某种对应关系，这也就是一种映射。 4.利用映射关系，可以对模糊集进行推理。,5,模糊系统与超立方体,5.模糊集

2、就是立方体中定义点构成的集合 6.模糊系统就是模糊集 到模糊集 之间的一种映射：S: - 7.模糊系统也可以将一系列模糊集映射成一系列模糊集。,6,FAM,多个模糊系统就像一个联想记忆系统，将近似的输入映射成近似的输出，这就是模糊联想记忆FAM。 1.简单的FAM就是将n维的模糊集Ai与p维的模糊集Bi关联起来（ Ai， Bi），不能训练。 2.一般的FAM系统能同时并行的将M个规则进行编码和处理，一个输入A能同时激活所有M个规则，只是激活强度不同。输出模糊集B就是这各个激活的线性组合。,7,模糊函数估计与神经函数估计,1.模糊系统与神经系统都是对输入样本进行学习，得到输出数据，实际就是寻找输

3、入与输出的函数关系，因此它们都是函数估计器。 2.两者之间的异同点，首先看下面的示意图。,8,9,相同点： （1）都是无模型的 （2）都可以从样本或实例中学习 （3）都使用数值运算 （4）都定义了输入输出积空间X x Y,10,不同点：主要区别在使用输入数据如何估计函数上。 （1）输入数据类型不同 （2）输入数据的表示和存储不同 （3）输入输出的映射不同 （4）神经方法需要一个动力系统模糊系统只需要一个语言描述的规则矩阵 （5）神经系统利用数值点Xi，Yi进行估计，而模糊系统利用模糊集合（Ai,Bi）进行估计。,11,FAM系统结构,FuzzySystem,FuzzySet,输出集,模糊系统示

4、意图,输入集,12,FAM系统示意图,FAM Rule m,FAM Rule 1,FAM 系统,FAM Rule 2,解模糊,13,由上图可知，要确定一个FAM系统，需要确定映射规则（Ai,Bi)，这就是模糊矩阵M的求法。还需要求加权系数，这就是自适应FAM的内容，还需要一个去模糊的过程。,14,FAM与映射,1.FAM系统由多个不同的FAM关联构成，每一个关联就对应一个数值的FAM矩阵，这些矩阵分别存储，并行访问。A1-(M1)-B1An-(Mn)-Bn 2.简单的FAM就是单向联想的FAM，首先将模糊集（A,B）分别编码成n个和p个变量X=x1,xn,Y=y1,yp,再将xi和yj通过隶属

5、度函数映射到【0，1】中的某个值，就表示了xi属于集合A的隶属度。这样模糊集就通过隶属度向量进行表示。,15,模糊向量矩阵乘最大最小,输入向量A通过模糊系统，得到向量B，相当于：（1）模糊矩阵M是n x p维，bj分量就是联想记忆成份，bj=maxmin(ai,mij). （2）乘法规则：行向量A与M内积，取ai与mij的最小值，最该列的最大值。例如：,16,由上可知，通过矩阵M,输入向量A，就能通过这种法则联想出B,但是M未知，需要求出M，可以采用外积的方法。在HEBB FAM中，给出了两种求M的方法：（1）相关最小（2）相关积,17,模糊HEB联想记忆系统FAMS,1.Heb FAMS就是

6、前面介绍的无监督学习：2.对于给定的行向量组（X,Y)3.在Heb系统中，对ai和bj进行最小相关编码得到M.,18,例如：可以看出: (1)每列的元素是每个bj相对与A的最小值，每行是每个ai相对与B的最小值 (2)如果A中的某个元素必B中的所有元素都大，则M矩阵中的该行就是B行向量反过来，如果B中的某个元素比A中的所有圆元素都大，则M矩阵中的该列就是整个A向量的转置。这就是后面要提出的向量的高度H(A).,19,定义一个操作符（取最小）:通过以上构造出的M矩阵，可以进行验证，有：但是反过来， 什么情况下等，什么情况下反过来也成立，这就是下面 要给出的能够双向联想的理论。,20,最小相关编码

7、的双向FAM定理,1.介绍两个指标：模糊集A的高度H和正规性。H(A)=max ai 如H(A)=1,则称模糊集A是正规的，此时可以对模糊集A进行扩展，利用这个指标，就能够判定双向联想的准确度。, ，对任意的, ，对任意的, ，当且仅当, ，当且仅当,如果 ，则有,21,相关积编码,相关积编码：(与相关最小编码的差别在于这里不取最小，而是一般的向量相乘运算）。例如：,22,由上计算可以看出，对于构造的M，对于一个输入向量 则可以很好的回忆出B，如果A中有一个1元素（H(A)=1)，则M中一定有一行元素为B，同样，反过来，如果B中有一个元素为1，则一定能反向联想出A.,23,双向相关积编码理论,

8、A,B是非空的隶属度向量： 如果 (1)若H(A)=1,则AoM=B (2)如H(B)=1,则 (3) (4),24,1.系统中通常可能包含M个前述的映射规则 （A1,B1),.,(Am,Bm)，根据前面的编码理论，会产生M个FAM M1,M2,Mm, 2.在神经网络中，只保存一个规则Mk，只有与Ak隶属度向量相匹配的向量输入才会很好的回忆出Bk，否则会删除其输出，重新学习。要在系统中添加或者删除一个规则，需重新计算。 3.模糊系统会同时分开保存这M个规则，对于一个输入A，可以同时并行激活这M个规则，激活度不同，得到的M个输出通过去模糊过程得到一个输出。 4.可以看出，FAM系统可以任意添加规

9、则和删除规则，不会引入较大的计算量。,多个FAM规则,25,联想输出和“去模糊”,1.联想输出为 2.去模糊 （1）一个简单的方案最大隶属度（2）替代方案质心法,26,自适应的FAM,1.积空间聚类,联想 规则,FAM 规则,FAM规则积空间聚类,27,自适应FAM规则的产生,图5 突触连接矩阵示意图,其中，,若系统中有K个突触向量M1,Mk,这K个规则构成一个更大的突触矩阵M,突触向量Mj就会收敛到FAM矩阵M的质心，如果向量越靠近质心，赋给它的权值越大。,28,自适应BIOFAM聚类,非模糊的输 入输出数据,BIOFAMClustering,规则合并,自适应BIOFAM示意图,29,简单的BIOFAM聚类提取规则的过程：（1）确定状态变量 （前件变量）和控制变量 （后件变量）。 （2）收集相应的 的训练样本（大量的有代表性的）。 （3）根据训练样本的分布区间，划分为 与 个模糊数，并赋于模糊语言量。 （4）用自适应DCLAVQ对样本聚类，聚类数为 。 （5）统计落在 个可能单元中的突触矢量个数 ，计算每个规则的权值 。 （6）根据区间划分进行规则合并（7）产生规则库，建立FAM系统。,