GB T 5271.16-1986 数据处理词汇 第16部分 信息论.pdf

1、中华人民共和国国家标准数据处理词汇部分信息论发布实施国家标准局发布中华人民共和国国家标准数据处理词汇部分信息论国家标准局发布实施概述引言本词汇包括约二十个部分本部分主要涉及香农信息论它包括对信息论作一般介绍所使用的基本术语以及在实际应用中极其有用的派生定量术语本部分始终使用一种形式的表述法但其目的不是使这种表述法标准化也不是为别的出版物提供先例本词汇的这一部分等效采用了国际标准数据处理词汇部分信息论范围本词汇选出了有关数据处理领域中一些概念的术语及其简明定义并阐明了不同概念之间的关系以便于国内交流和国际交往词汇涉及数据处理的各个主要方面其中包括主要的处理过程和所用设备的类型数据的表示数据的组织

2、数据的描述计算机的程序设计和操作外围设备数据通信及其他的特殊应用适用范围本标准适用于有关电子计算机及信息处理各个领域的设计生产使用维护管理科研教学和出版等方面遵循的原则和规则以下各项规则已在数据处理词汇部分基本术语中详细说明它们同样适用于本部分这里不再重复只将其各项的标题列出如下词条的定义词条的组成词条的分类术语的选择和定义的用语多义术语缩写圆括号的用法方括号的用法黑体字术语和星号在定义中的用法拼法索引表的编制术语和定义信息论一般术语信息论研究信息测度及其性质的学科分支通信论研究在噪声和其他干扰存在时消息传输的概率特性的数学分支信息测度随机事件集合中的一个事件或一序列事件出现概率的一个适当的函

3、数注在信息论中事件这个术语和概率论中所用的意义相同例如一个事件可能是集合中一个给定元素的出现或者在消息的给定位置上一个特定字符或一个特定字的出现消息及其通信消息用于信息论和通信论用于传送信息的有序字符列消息源信息源通信系统中发出消息的那一部分消息宿通信系统中接收消息的那一部分信道用于通信论通信系统中连接消息源和消息宿的那一部分注可能在消息源与信道输入之间插入一个编码器同时在信道输出与消息宿之间插入一个解码器一般说来这两者都不是信道的一部分在某些场合下它们可以分别被看作是消息源和消息宿的一部分在香农信息论中信道可用一组条件概率来表征这组条件概率是当消息源发出任一个给定的消息时消息宿可能收到的所有

4、各种消息出现的条件概率对称二进制信道一种信道用于传送二进制字符组成的消息而且具有下述性质任一字符变为另一字符的条件概率是相等的平稳消息源平稳信息源每一消息的出现概率与出现时间无关的消息源基本定量术语决策量从有限个互不相容事件中选取一个给定事件所需的决策次数的对数测度其数学表述为式中事件的数目例见末尾的例子注的注也适用于本定义对数的底决定了所用的单位决策量与各事件出现的概率无关但在某些应用中也可以认为这些概率是相等的信息量一个有确定概率的事件出现时所给出的信息测度其数学表述为事件的这一测度是的出现概率倒数的对数即例见末尾的例子熵平均信息量在确定概率的有限个互不相容事件组成的完备事件集中由任一事件

5、出现所给出的平均信息测度其数学表述为对具有概率的事件集合这一平均值等于各个事件的信息量的数学期望即平均值例见末尾的例子相对熵熵与决策量之比其数学表述为冗余度用于信息论决策量超过熵的数量其数学表述为注一般来说采用适当的代码可以减少代表消息的字符冗余度可用来衡量编码能将消息平均长度缩短多少香农信息量二进制单位信息测度的一种单位它等于用以为底对数表示的由两个互不相容事件组成的事件集的决策量例由个字符组成的字符集其决策量等于香农注严格避免使用比特作为信息量二进制单位哈特莱信息量十进制单位信息测度的一种单位它等于以为底的对数表示的由十个互不相容事件组成的事件集的决策量例由个字符组成的字符集其决策量等于哈

6、特莱信息量自然单位缩写信息测度的单位它用自然对数来表示例由个字符组成的字符集其决策量等于自然单位例设字符集由三个字符组成对某一给定的消息源来说它们的出现概率如下这个字符集的决策量是香农哈特莱自然单位这些字符的信息量是香农哈特莱自然单位香农哈特莱自然单位如果在任一消息中这三个字符的出现是相互独立的则这个消息源的熵是香农哈特莱自然单位这个消息源的冗余度是香农哈特莱自然单位派生的定量术语相对冗余度冗余度与决策量之比其数学表述为条件信息量在已知另一事件出现时由具有确定条件概率的一个事件的出现所给出的信息测度其数学表述为若集合中事件的出现依赖于另一集合中的事件的出现则这个条件信息量等于已知条件出现时事件

7、的条件概率的倒数的对数联合信息量由具有确定联合概率的两个事件的出现所给出的信息测度其数学表述为若是事件集和中两个事件则这个测度等于这两个事件同时出现的联合概率的倒数的对数条件熵平均条件信息量当已知另一互不相容事件集合中的事件出现时在具有确定条件概率的有限个互不相容事件组成的完备事件集合中由任一事件出现所给出的信息测度的平均值其数学表述为若事件集中事件的出现依赖于另一事件集中事件的出现且两事件同时出现的联合概率是则这个均值等于全部事件对的条件信息量的数学期望存疑度当已知消息宿处任一特定消息出现时消息源特定消息出现的条件熵消息宿是由一条特定信道与消息源连接起来的注若是消息源处的输入消息是消息宿处的

8、输出消息则存疑度是的条件熵存疑度是为消息宿每个消息的所必须提供的平均附加信息量用来纠正收到受噪声信道的影响的消息偏离度弥散度当已知消息源处任一特定消息出现时消息宿特定消息出现的条件熵消息源是由一条特定信道与消息宿连接起来的注若是消息源处的输入消息是消息宿处的输出消息则偏离度由下式表示转移信息量互信量某事件出现所给出的信息量与已知另一事件出现后由该事件出现所给出的条件信息量之差其数学表述为是一个事件对例如是一个输入消息是另一个输出消息是两个事件和同时出现的联合概率是已知事件出现时事件出现的条件概率是已知事件出现时事件出现的条件概率是事件出现的概率是事件出现的概率则事件对的这个差为平均转移信息量当

9、已知另一互不相容事件中的事件出现时在有限个互不相容事件所组成的完备事件集合中任一事件出现所给出的转移信息量的平均值其数学表述为若事件集中事件出现依赖于另一事件集中事件的出现且两事件同时出现的联合概率是则这个平均转移信息量等于全部事件对的转移信息量的数学期望注平均转移信息量也等于两个事件集之一的熵与这一事件集对应于另一事件集的条件熵之差例如在传送消息时它等于消息源处的熵与存疑度之差也等于消息宿处的熵与偏离度之差即每字符的平均熵每字符的信息率一个平稳消息源所有可能消息的熵的字符平均值其数学表述为若是消息源发出的由个字符组成的全部序列的集合的熵则此每字符的平均熵为注每字符的平均熵可用诸如每字符香农为

10、单位来表示如消息源不是平稳的则的极限可以不存在平均信息率每单位时间的每字符的平均熵其数学表述为信息率等于每个字符的平均熵除以字符集合中任一字符的持续时间的数学期望即式中注平均信息率可用诸如每秒香农为单位来表示每字符的平均转移信息量一个平稳消息源所有可能消息的平均转移信息量的字符平均值其数学表述为对于个字符的输入序列与相对应的个字符的输出序列所组成的序列对用表示全部序列对的平均转移信息量则每字符的平均转移信息量为注每字符的平均转移信息量可用诸如每字符香农为单位来表示平均转移信息率每单位时间的每字符的平均转移信息量其数学表述为转移信息率等于每字符的平均转移信息量除以任一复合事件的持续时间的数学期望即式中注转移信息率可以用诸如每秒香农为单位来表示信道容量受到特定约束的给定信道传送特定消息源的消息的能力测度它可以用每字符的平均转移信息量的最大可能值或平均转移信息率的最大可能值来表示这些值可以用适当的代码以任意小的错误概率来达到