1、S.J 中华人民共和国电子行业军用标准FL 5895 SJ 20771-2000 军用通信系统音质的MOS评价法MOS method of speech quality assessment for military communication systems 2000什0-20发布2000-10叩20实施中华人民共和国倍息产业部批准目次1 范围 . . . . . . ( 1 ) 2引用文件. . . (1) 3 定义 . . . . (2) 4 般要求. . . (2) 5 详细耍求. . . . . . .闵.(2) 附录A荔本测试谐音材料(补充件). . . . (8) 附录自滤波器参
2、数及传输特性(补充件). (15) 附求CMOS法测试投票意见记录表(补充件).(17) 附录DMOS评定意见参考(补充件). . . (18) 中华人民共和国电子行业军用标准1 范围军用通倍系统音质的MOS评价法MOS metbod of speecb quality assessment for military communication systems 1. 1 主题内容SJ 20771-2000 本标准规定了军用通情系统膏质的平均意见分(MeanOpinion Score简称MOS)评价方法的测试语音材料、规程、技术条件及要求。1. 2 适用部围本标准适用于军用通倍系统及网络中对研制
3、、生产的语音编码器、语音终端(成设备)或语音系统进行音质主观评价，并定量给出被测系统的MOS评定结果。本标准也适用于通倍系统及网络中对话音编码设备及语音系统进行评价。2 引用文件GB 1781-92 测试录音带GB 2019-87 磁带录音机基本参数和技术要求GB 734787 仅语谐音妖时平均功率谱GB厅13427帽-92增最调制终端设备技术要求GB厅13504唰2汉语清晰度诊断押韵测试(DRT)法ITUG.726 16、24、32、40kbitls自适应第分脉冲编码调制(ADPCM)(1992 年9月11日)I机J.T0.729 使用共辄结构代数码激励线性预测的8kbitls语音编码(19
4、96年3月)3 定义3. 1 加权lJL均意见分weighted MOS 对各种投票意见按规定数值进行加权之后，再平均的MOS得分，见5.4.5条公式(1)。3.2 加权标准偏爱weighted standard deviation 按投票概率加权投票意见方差得到的标准偏差，见5.4.5条公式(2)。该偏差只适用于音质MOS评价泄的统计应用。3.3测试语音单元始stspeech unit 由三个测试语句构成的、一次评昕投票用的话音单元。中华人民共和国情患产业部2。-10响20发带2000-10-20实施SJ 20771-2000 3.4 测试语音源褒test叩eechsource list 由
5、每个发青人都发个测试语音单元(可以是相同和不同的单元)的音所选测试谐音单元构成的我.3.5 测试语音摞集合test speech source set 按语音源表发膏，以模拟录音方式录制在磁带上成数字采集方式生成数据文件存贮在光盘成磁盘上的，可供测试选用的测试语音源。4 一般要求4. 1 谐音材料集合MOS评价方法对被测语音系统纷出整体啬质的评价，语音材料应当由经过语音平衡、椭度基本符合r一分布、长时平均功率谱一般应符合GB7347的规定，且规模足够大的语句集合构成。4.2 测试要求4.2.1 为使评价结果可靠，测试队伍必须达到5.4.1条的要求。4.2.2 参考测试语膏条件和被测谐音系统的条
6、件的激励必须符合5.4.3.1条的要求。4.2.3 每种条件使用的谐音源，必须至少包含每个发裔人一个谐音单元。4.2.4 全部测试条件的谐音信号单元之间的平均能量(戚声级(A)之差宜控制在土2dB之内，5 详细要求5.1 语音材料集合的构成5. 1. 1 测试句表考虑大型评价测试的需要，共包括10个句子表，每表18个谐句，每三句作为个测试语音单元.5.1.2 句子长度一般由包含10个左右音节组成，见附录A(补充件)。5.2 语音糠的建立5.2.1 发音人至少由三男、三女讲栋准普通话的人发音，有条件时，最好由电台和电视台的播音员发音.5.2.2 发音环境应在背景噪声低于25-30dB (A)，泪
7、响时间低于0.5s (500 Hz的安静办公室录音。有条件时，最好在经过声学处理的录音棚内究成语音源的隶制。5.2.3 发音要求按每秒3-4个音节(字)的速度、正常语调和语气发音，并力求音量平衡。每个句子之间停顿1s左右，每个测试语音单元之间停顿3-4s左右。5.2.4 录音方式分为模拟录音和数字录音两种方式。5.2.4.1 模拟录音应尽可能使用符合GB2019中一等品录音机，如使用其他高保真录音机，其非线性SJ 20771-2000 失真应小于0.3%、抖动小于0.03%0应使用符合GB1781要求，成接近于它的低噪声磁带.5.2.4.2 数字录音5.2.4.2.1 策膏条件应采用不低于80
8、00Hz频率取样和不低于16位线性PCM编码进行录音。5.2.4.2.2 录音文件格式按测试语音单元生成指定格式的数据文件。为便于操作，每个文件名股标志发音人的性别及编号.5. 2. 5 发音声级应符合GB厅13504中5.6条的要求.5.2.6 栅试谐音集合按5.1.1杂的句子衰，依次由男、女声的每个发音人对表中的测试语音单元发膏。为测试应用方便，每人只发本表中一个单元的膏，这使得到一个标准语音源炭，并根据媒体条件，按前述各项要求进行测试摞的录制，全部测试语音源表都照此发膏，这即构成测试标准语音糠集合。5.3 测试语音材料的建立测试语音材料应包括被翻语音系统的测试材料和参考测试语音材料。5.
9、3.1 被测谐音材料的建立5.3.1.1 使用语膏材料的规模对于任何一个被谐音系统进行音质的MOS评估，至少使用一个标准测试语音源炭的发膏，必要时，最好使用两个表的发音。5.3.1.2 被测系统测试信号的生成被测倍号的生成见图10测试糠倍号I测试信号才被测系统i 图1被测借号生成5.3. 1. 2. 1 测试信号采集不推梓模拟录音采集，一般用8000Hz频率来样和不低于线性16位PCM编码格式数字录音，并生成标志被测系统条件和语音源倍号条件的数据文件。5.3. 1. 2. 2 植意放谱和采集的接口要求要特别注意被测语音系统和信号采集装置的输入、输出阻抗和信号电平接口条件。当阻抗不匹配和电平不适
10、合时，应设法使其阻抗匹配，并将咆平调整到系统及采集卡最佳工作的动态范周.5.3.2 参考测试语音条件执行被测语音系统的MOS评价测试中，应引入加性噪声失真、乘性噪声失真条件和标准语音编码器条件，这些条件要和测试条件起进行评价测试。5.3.2.1 加性噪声失真条件这代表通常存在的噪声干扰失真条件，应是连续的商斯分布的随机自噪声，且应包SJ 20771-2000 括:信号噪声比(SNR)为斗0，斗，0, 5, 10, 15 , 20 , 30 dB八个等级。5.3.2.2 乘性噪声失真条件乘性噪声模拟波m编码器量化噪声形式，它伴随信号的出现丽出现，是一种起伏性质的随机噪声，亦应包括借号噪声比(SN
11、R)为-10，由5，0, 5, 10 , 15 , 20 , 30 dB八个等级。5.3.2.3 标准语音编码器条件MOS测试还应适当包含一些标准语音编码器的失真语音条件，本标准可选如下一些谐音编码器:a. 波形编码器I叽J-T0.726中32、24、16kbitls ADPCM及OB厅13427中16kbitls CVSD; b. 参数编码器可选ITU-T0.729 8 kbitls或2.4、4.8kbitls IMBE编码器:C. 参考摞信号8kHz来样，线性16位PCM编码语膏。5.3.3 参考测试谐音条件的产生每种参带失真条件，一般包含一个测试语音源表的语音录音。5.3.3.1 加性噪
12、声失真条件的产生可用数字或模拟的方活产生，因2是产生加性噪声失真条件的框圈。旦+S(n) S(t)一模拙谐音借号S(n)一数字语音借号N(t)一模拟嚼声借号N(n卜数字噪声情号SN(t)一模拟失真倍号SN(n)一数字失真信号回2加性噪声失真条件的产生模拟方式产生时，一般情况下信号S(t)电平维持固定，仅调整噪声的电平。数字方式产生时，采用文件一文件的办法实现所要求的失真条件。数字滤披的传输特性，可由五阶椭脚低遇和3个阶切比雪夫高通滤波器实现，它的主要参数见附录自(补充件)中的Bl:滤波器的特性如附录B(补充件)中图Bl所示。无论采用哪种方式产生央真信号条件，都应保证输出信号最大电平不(限幡)失
13、真。数字方式产生的失真(SNR)条件，亦应维持语音电串的基本假定。5.3.3.2 乘性噪声失真条件的产生乘性噪声的产生按图3来实现。.蛐4-SJ 20771-2000 2-3400Hz 因3乘性噪声的产生带通滤波的特性同5.3.3.1条。5.3.3.3 标准语音编码器语音条件的产生各种编码器的语膏条件，用硬件成软件产生同样有效，产生方法按5.3.1条。每个条件应至少包括一个测试语膏、源表的测试语音。语音源袤的语音直接从测试语音源集合中选取得到。5.4 评测规程5.4.1 测试队伍一般由24-32名男、女各半，年龄接近被测系统使用群体的人员组成。当达不到这个规模时，将采取增加投票轮数的办法来弥补
14、人数的不足。5.4.2 人员的训练正式测试前，进行短时期掌握棚试要求和明了注意事项等训练，并且包含质最等级的非测试语音进行试昕性质的训练，通过试昕基本了解各质盘等级的大致概念。不是对测试语音熟悉的训练，而是对听到的话音好坏程序应该给什么样投票意见的训练，如果曾经接触过MOS测试，可以不做训练。训练中，可让参试人员先大致了解MOS评分等级参考(见附录D)中各个等级的定界，这些坚定界仅供参考。当一次测试的条件较多，比如测试单元超过200个时，也可用随机放送测试条件的部分话音来训练。5.4.3 测试前的准备5.4.3.1 测试谐音材料的随机化编辑MOS测试语音单元对测听人员的激励应是随机的，全部被测
15、系统的测试谐音单元和全部参考测试谐音单元，必须在测试前进行测昕顺序随机化的编辑处理，可用随机化程序，完成测昕放音顺序随机化。顺序号之间的距离应大于10(即随机化的顺序PK(i)甲PK+1)10，i、j是原先的相邻顺序号)。随机化前的语音单元顺序，般是按测试条件编排产生的。5.4.3.2 意见表在不具备用投藕机进行投票的情况下，必须事先准备好投票意见衰。表中除有投票的意见等级外，还必须有与放音顺序一致的投票顺序和随机化顺序的标记，以免投票过程出锚，并提供结果统计资询与纠锚的方便。记录我的形式见附录c(补充件)5.4.4 测试条件5.4.4.1 测昕工作站,3 SJ 20771一2000MOS评价
16、实验樨圈，如图3所示。包括多媒体计算机，功率放大器，双耳机组成的工作站及听音环境条件.测昕工作站的要求如下:a. 多媒体计算机除PC机的基本配置外，应包括:CD-ROM: 8XCD以上，操作系统:Win95戚Win97或Win98应用租序2自编放膏程序或CoolEdit P阶roF声缸卡:16位以上威性能相当产品。b. 功率放大器:功率不小子30W，供多付(N=24-32)耳机昕音使用。C. 测昕条件:对耳机及听音环境的要求按GB厅13504的5.1.2条执行。多媒体计算机地音室阁4MOS评价实验框图5.4.4.2 昕啬声锻按GB厅13504的8.5.1条执行-5.4.4.3 放音4、1= 2
17、 I I 4、N专用评昕室由计算机放膏，其快慢控制在每个测试单元之间停顿34s，以供测听人员思考和投琪。现常在i远镜25-30次投票后，短暂休息1.2min;般情况下，不重复放膏，但音质较兹的测试语音单元，必要时可以重复12次，这白可以囊复放音的自编程序或Cool.Edit程序来控制。5.4.4.4投票测听人员必须在听%每个测试语音单元的三句话膏，并经过认真思考之后，才在单元表的相应栏目中，给出投攘的回答标志( )，投票意见分:优5良4中3搓2劣1五个等级。参考!义附录D(补充件)。5.4.5 计分统计被测谐音系统测试语音条件及每参考测试条件的投票意见。设K(m)是条件l的第m个测试谐音单元投
18、以K种单元的票数。Nm是测试单元m的总票数，则统计计分是:四6时SJ 20771-2000 a. 加权平均意见分各种意见的加权值见5.4.4.4条，测试条件l的第m个测试单元的加权平均意见分按下式计算:MOS (l, m) =古名K(川向剖，25 .(1) 其中W(1)吨，W (2)叫，其余类推。b回标准偏若用力日权标准偏袭来统计，测试单元m的这个偏娃娃:(l，m) = C. 结果表示Lk(m)(W(K)叩MOS(m)/K:J N m 被测谐音系统条件l的评测结果，则由下式给出:.(2) MOS(l)=土(/，m)m=l , 2, 3M .(3) 其中m是测试条件l用到的测试谐音单元数。明7响
19、SJ 20771一2000附策A基本测试诺诺材料(补充件)A1 语句裴-1. 他去无锡市，我到黑龙江2. 沈阳腹大市，广州内蒙古3. 电视一下把地球变得小多了4. 讲卫生是一种好习惯5. 划水比赛是一种精影的运动6. 运动员的辛苦得到了报答7. 埃及和希腊也是文明古国8. 八月是不会下蜜的9. 狗和猫有时相处得很和谐10.动物园盟养了五只大熊猫11.语育是思维活动的表达形式12.知识是富有的象征13.观看文艺演出是一种精神事受14.天才在于积累、聪明在于勤奋15.臭虫和跳蛋一样令人讨厌16.他是一位出色的地质工作者17.劳动创造了人类，也改造了自然18.金钱使意志脆弱者走向盟蔼A2 语句褒二1
20、. 他们的婚礼在圣诞节举行2. 办公室里都装备上了做电脑3. 穿裙子是女同志的事4. 我的弟弟从边耀打来电话5. 那位女学生在成读硕士学位6. 坐轮船去荣洲娃恨艰难的事儿- 8 -SJ 20771 2000 7. 背少年们正在健康成民8. 请你3在复刚刚说过的话9. 通过卫庭收集情报10嗣真理往往掌握在少数人手盟11.电话是不能没有的通信手段12.一迫下了三天毛毛雨13.唯物主义和唯心主义是相对立的14.地里的庄稼长得很茂盛15.原子能发电比用煤经济多了16.西安是我国最文明的古都17.做个有益于人民的公仆18.月亮每天绕着地球转一阁A3 语旬表三1. 疾病给人带来了痛苦2. 思期一我得了感冒
21、3. 人是唯一能用语言表达思维的动物4. 性急容易发生错误5. 店员把右边的肥皂愈递过来6. 婶子的闺女在照镜子7. 女工生产黑色的书包8. 孩子们到野外去放风筝9. 书包里是图书杂志10.现在点油灯的人家不多了11.黄瓜是一种果提菜12.现在过年也不磕头了13.佛教是一种精神情仰14.他的软弱受到了埋怨15.一顿饭得烧丑十斤柴火16.趾生的1:作娃泊疗疾病17.你的行J!JiY.该受到批评18.今年果树民得民茂盛甲9他SJ 20171-2000 A4 语句表四1. 解放军大部分是工农成分2. 农民的生活比过去好了3. 姐姐帮助弟弟做功课4. 地头蛇是阴险的敌人5. 我热爱理发员的职业6. 文
22、明人每天都刷牙7. 眼泪有时会流进鼻子8. 电灯比油灯进步多了9. 爱情绝不是娱乐10.西北的桔子是南方的11.这是自动包饺子的机器12.公公过着休养生活13.词令员说话真干脆14.文艺婆为工农兵服务15.自由平等是有阶级性的16.我给话剧演员化精17.先生答复学生的问题18.编辑也作校对工作A5 语句褒五1. 姐姐把饺子煮熟了2. 公共汽牢上也寄电灯3. 敌人的眼泪是虚假的4. 讲地理最好有模型5. 每个小孩子臂一把椅子6. 新刊物在元旦出版7. 这个公司的老板精明能干8. 他才是全心全意为人民服务的好同志9. 博物馆里藏布一块大石头10.他写字的姿势挺特别申10呻SJ 20771-2000
23、 11.那位先生说话像演戏12.实践是检验真理的唯一标准13.老虎和狮子把口张得大大的14.宿舍是大家居住的地方15.先生给学生们讲唯物主义16.轮船在公路上是不能走的17.经济工作受到严格监督18.缺乏勇气才害怕困难A6 语旬表六1. 讲故事是奶奶的任务2. 小孩子是最诚实的人3. 电影院里常常也演话剧4. 只有科学才是人挺进步的阶梯5. 我夭夭回家做功课6. 任何见解都可以在会议上发表7. 中国是一个多民族的国家8. 二月在北方还是;今天9. 懒惰的人不一定很笨W.大方的人不见得非要搞浪费11.杂技是种了不起的艺术12.要取得粮食就必须播种13.人民群众是历史的制造者14.他总是不听奶奶的
24、嘱咐15.早上在东方出现光明16.威风跟架子是分不开的17.这个故事在民间十分流传18.我回家不用骑自行牢A7 语旬褒七1. 害怕困难才窍不成任务2. 广播是种宣传工具3. 老师的工作是教学生叶11SJ 20771 2000 4. 这是王处长和高参谋的意见5. 步调一致才能得胜利6. 通信线路发生故障7. 要记住这是秘密行动8. 人民的公仆不是自封的9. 科学技术是第一生产力10.报务员必须牢记密电网11.南方冬天不用生暖气12.作家的贡献不只是浪费时间13.我们占领了三五九离地14.国外的东西也有假窗伪劣品15.防守是战斗中不得己的事情16.坚决的态度和顽固不是一回事儿17.卫生是健康的保证
25、18.车站里头也有商店附语句褒八1. 他爱人是有名的护士2. 问堤上不能种庄稼3. 坦克不怕恶劣的天气4. 空气的被动产生了声音5. 读完高中就该念大学了6. 吃干净东西不得荆疾7. 普通工人也摘创造发明8. 波浪前进是运动的规律9. 十一月练习高射炮射击10.马车也有用骤子拉的11.北方冬天树枝上没有叶子12.俐疾和蚊子没有关系行动举活梅备上准在山拙UN天作剧川丽fm节前视动电远口Mm句品15.明天.:E教授讲建筑工艺16.我的叔叔现在做代理科长17.蚊了盯了我的胳臂18.蓝子里装满了红苹果A9 语旬褒九1. 人人拥护安全措施2. 菜市场里没有粉条儿卖3. 通讯员得了神经病4. 春天是栽花种
26、树的时节5. 一有灾荒收成就更坏6. 电报通讯可以留下证据7. 爱撒谎的人没有朋友8. 仓库里堆满了黄豆SJ 20771-2000 9. 罢工并不只是为了增加工资10.有学问的人应该受到尊敬11.航天飞机不能按时升空12.时间过去了就不再来13.这是哥哥在图书馆里借的杂志14.他每天都在实验室里工作15.学生们在操场上唱歌跳舞16.学问就是知识的意思17.锅累的制鱼还在活蹦乱跳18.白天也有黑暗的地方Al0 语句褒十1. 书店里零售优秀的杂志2. 托儿所的医生是他的侄女3. 明愿演员未必有好的道德文明4. 人民币是流通的手段5. 今天医院没有内科门楼6. 受教育可以增氏知识-13叫SJ 2Q7
27、71-2000 7. 他是优秀的革命活动家8. 个人主义产生悲观情蜡9. 他安慰着悲哀的女人10.我不知道错误在那里11.现在冬天黑不再只有白菜萝卡12.我很久没有和他通恼了13.计算机代瞥了人的劳动14.爱国宪义和国际主义是统一的15.星期日大家都去参观博物馆16.年轻的表嫂是位中学老师17.诗歌是文学的重要组成部分18.骆驼是祀澳盟的运输工具-14时81 滤波错番事擞SJ 20771-2000 附录B滤波器参数及传输特性(补充件)带通椭因捕波器通带波纹0.200 dB 通带边200.000 3400.000 Hz 阻带边150.470 3773.720 Hz 取样频事8000.000 Hz
28、 衰减-40.000 dB 分母分子1.000000E+00 1.832801E叩012 -3.204481E+OO 由1.677694E-Ol3 3.742647E忡。由5.387513览响。14 叩3.052206E+OO1.941535E-Ol 5 4.072473E+OO 9.826942E忡。16 -4.265352E+OO 0.000000巨响。17 2.386243E+00 -9 .826942E-0 1 8 -1.33633，$E吨。叶1.941525巳白019 9.931768E+OO 5.387513E叩0110 柑3.605600E+001.677694E01 11 2.
29、47152E+00 1.832801E-Ol 82 五阶随即带通滤波榻的传输特性五阶椭圆带通滤波器的频率响应如阁Bl所示。也15-SJ 20771-2000 滤披器频i费(dS) 。ltc 2lC 3K (Hz) 。叩10四-30 喃嗣40叩50叫叩7Qao 60. 回Bl丑阶椭圆带通滤波器的频率响应明16-SJ 20771一2000附录CMOS法测试投票意见记录表(补充件)01 MOS法测试投票意见记景表见裴01.表ClMOS测试投票意见记录表序号投票意见顺序号随机号优(5)良(4)中(3)41 165 42 82 43 3 44 94 45 75 46 50 47 41 48 123 49
30、 15 50 31 51 24 52 19 53 131 S4 150 5S 123 56 42 S7 89 58 59 100 60 70 差(2)劣(1)- 17 -01优SJ 20771-2000 附录。MOS评定意见参考(补充件)感觉不出语音布任何失巢，精澈透明、自然。但背景可能有昕得出，但并不在意的杂膏。02良语音存在刚可以感觉别的失真，除此而外，最化成背景噪声的干扰己感觉对话音有轻微的影响，但诺诺仍然清晰、自然、可懂。03申明显感觉话音有失真，背景干扰噪声或最化噪声也偶尔韦忧个别字音:清晰度和/或辨别人的能力有所下降，假话音仍有较好的自然皮和可髓度。04差语音失真比较严囊，感觉粗糙，背景戒量化噪声的干扰令人讨厌、个别字昕不清而觉得有道复的必要;自然度也较楚。但仍然具有一定的清晰度和可懂度，还可勉强维持通信。05 劣(不可接受)话音失真或被干扰到了不可接受的程度，昕得出个别字和词，但可髓度很差。也许听到的话音连三分之一都不懂，自然度也恨楚，要维持通倍已很困难。附加说明:本舰?自由中国电子技;tt标准化研究所归口。本规范由信息产业部电子第三十研究所负责起草。本规范主要起草人:张知易失娅若杜明链。计划项目代:B83006. - 18
