1、多语种的拼音到汉字的 转换和翻译,赵 海 上海交通大学 2013.05.31 长沙,目录,问题概述拼音输入法 机器翻译：服务于汉字文化圈语言结语,汉字文化圈,汉字亦称中文字、中国字，是世界上仍被广泛使用的高度发展的表意文字。仍在使用和曾经使用汉字的国家和地区包括汉字的诞生地中国、周边深受其影响的越南、朝鲜半岛和日本，以及近代华人移民聚集的新加坡、马来西亚等东南亚国家。接受汉字及中国文化影响的地理区域在某些文献中被非正式地称为汉字文化圈,汉字文化圈的拼音化,汉字文化圈各语言均是世界意义上的大语种 汉语有超过13亿人使用，是使用人口最多的语言 日语有1.3亿的使用者 朝鲜语/韩语有超过7,000万
2、的使用人口 越南语则拥有世界范围内约8,000万的使用者,使用人数,应用驱动的音字转化任务,中文的拼音输入法 从汉语拼音到汉字句子机器翻译 从假名、谚文或者越南语国语字到汉字串从语义等价的角度，观察不同语言的读音差异和演化轨迹,目录,问题概述拼音输入法 机器翻译：服务于汉字文化圈语言结语,基于拼音的中文输入法,主流的输入法大部分是基于拼音的不考虑声调，汉语拼音的音节数少于500个 汉字，则有3000-20000个，根据应用场合不同而不同 无论哪种情形，基于拼音输入面临的主要问题是：针对输入拼音音节，快速选定汉字。,通用策略,输入一个拼音音节，会有几十个汉字对应 输入双音节词对应的拼音，则会快速
3、降低到只有几个合法的汉字词对应所以 输入尽可能长的音节串！,拼音输入法作为汉字串解码任务,输入：汉语拼音串 输出：一一对应的（合乎汉语语法语义的）汉字串串标注任务 最大熵模型解码 统计机器翻译解码,作为机器翻译的汉字串解码 PACLIC 2012,流程： 没有对齐过程 仅适用标准的MERT调试以及MOSES解码 有效集成语言模型等丰富特征精度和整句正确率均优于标准的最大熵模型,不仅仅是串解码任务,我们使用字的精度来评估汉字串解码任务对于串解码任务这是标准度量，因而它不是问题但是，我们服务于中文输入法，它的真正目标是最少的击键选择来完成输入,新型的汉字串解码评估度量,基于击键次数解码不可能100
4、%正确，如果1-best输出不是完全正确的，我们依赖于输入法给出的其他次优的候选 这就是核心问题！假定所有的输入都是基于数字键的选择完成，我们得到一个击键次数度量 ,简单的击键行为模型,假定全部选择都由数字选择完成，不考虑光标移动、删除等操作输入完整拼音需要n次击键，需要m次数字选择完成汉字输入目标的击键效率评估度量是 m/(n+m) 这个值越高，输入法越友好优化候选长度、排序等以降低以上的度量,触摸屏上的中文输入法 更加复杂的击键行为 ,目录,问题概述拼音输入法 机器翻译：服务于汉字文化圈语言结语,汉字作用再审视,中国1950s：汉语拼音曾经计划用来替换汉字作为正式的文字 废除汉字1980s
5、：汉字的计算机处理面临挑战但是，现在。你懂的,汉字作用再审视,日本明治维新后，中国衰落，汉字的使用的合法性和合理性引起争议 最终，汉字在日语中的使用得以保留，但是使用大幅度减少存在2000个汉字的当用汉字表,汉字作用再审视,朝鲜 1949年开始彻底使用纯谚文印刷主要出版物，标志着国汉混用朝鲜语的时代在朝鲜正式结束韩国 1948年，韩国制宪会议制定了韩字专用的法律。 1950年，韩国内务部通令容许夹写汉字，但是五年以后该通令被取消。 1970年，朴正熙政府强化了韩字专用政策的推行，鼓励出版界使用纯韩字。 1974年，文教省又公布“教科书韩汉并书方针”，结束了“禁用汉字”政策。 1999年，金大中
6、总统发布总统令，要求在必要情况下并书汉字以确保公文内容的准确传达。 2011年开始，韩国把汉字重新列入中小学的课程。2004年：贱出将军事件,汉字作用再审视,字喃，不晚于13世纪创造出来用于记录越南语19世纪由法国殖民者主导，开始普及法国传教士设计的越南语的罗马字书写体系。 1919年的科举废除，汉字的使用也被废除。 1945年越南民主共和国在越南北部成立后，北部的教育中的汉字教学已经不存在； 南越在1975年前的中等教育中仍保留“汉文科”。 今天，汉字在越南的地位类似于拉丁语在欧洲的情形。没有汉字，你不知道你在说什么,基于汉字的密切的词汇联系,日语 约有至少50%的日语词汇来自汉语。在近代，
7、则是大量反应现代西方科技文化的术语首先通过日语中的汉字书写，继而重新传播回汉语 韩语/朝鲜语 汉语借词占韩文词汇量的60% 越南语 汉语借词可达60%,越南语、朝鲜语/韩语使用纯拼音文字,日语是拼音-汉字混合书写语言，因此中国人看到日文，多少能猜测出所表达的意思但是越南语、朝鲜语/韩语。统计机器翻译：没有对齐语料,韩文也可以这样写,韩汉书写的不同模式的例子 纯韩文 . 韩汉并书 (忠道) (執持) . 韩汉夹写（韩主汉从） 忠道 執持 . 韩汉夹写（汉主韩从） 只今 三年以後 忠道 執持 過失 盟誓.,韩国宪法（韩汉混合书写）,前文 悠久 史 傳統 大韓國民 31運動 建立 大韓民國時政府 法
8、統 義 抗拒 419民主念 , 祖國 民主改革 平和的 統一 使命 正義人道 同胞愛 民族 團結 , 社會的 弊習 義 , 自 調和 自由民主的 基本秩序 政治經濟社會文化 域 各人 機會 , 能力 最高度 , 自由 權利 責任 義務 , 國民生活 世界平和 人類共榮 子孫 安全 自由 幸福 1948年 7月 12日 制定 8次 改正 憲法 國會 議決 國民投票 改正. 第1章 總綱 第1條 大韓民國 民主共和國. 大韓民國 主權 國民 , 權力 國民 . 第2條 大韓民國 國民 法律 . 國家 法律 在外國民 義務 . 第3條 大韓民國 土 韓半島 附屬島嶼 . 第4條 大韓民國 統一 指向
9、, 自由民主的 基本秩序 平和的 統一 政策 . 第5條 大韓民國 國際平和 侵略的 戰爭 否認. 國軍 國家 安全保障 國土防衛 神聖 義務 使命 , 政治的 中立性 . ,训读汉字串,借鉴这些周边语言和汉语的历史性联系，我们提出使用一种严格按照词汇语义等价条件下的汉字转写形式，分别用于相关语言到汉语的翻译处理。 这个以源语言的语法和语序书写的汉字串，其中的各个词汇在源语言和现代汉语之间语义等价，借用日语的术语，我们称之为“训读汉字串”。,语义翻译和语法翻译,以训读汉字串为中间语言，可以将机器翻译任务分解为两个阶段 语义翻译阶段 完全类似于汉语拼音输入法中汉语拼音串到汉字句子的逐一转换过程，
10、基于双语词典提供的候选，源语言音节到汉字的转换是严格对应的（在越南语的情形，国语字到汉字的转换甚至是一个音节恰好可以严格映射到一个汉字），而无须考虑词序的重排和词汇的复杂改写。 语法翻译阶段 把遵照源语言语法的训读汉字串重排词序，必要时改写个别词汇，转为合乎汉语语法的句子。 注意这是一个单语言处理过程！,语言差异：韩语-汉语,语音： 和日语一样，韩语没有声调。 存在元音和谐现象。 语法： 韩语的语法结构是主宾谓（SOV）结构，不同于汉语的主谓宾（SVO）。 韩语是黏着语，这种类型的语言靠粘着在词干后面的大量、丰富的词尾的变化来表达语意。汉语是孤立语，靠词序来表达语意。 五组九类词，助词（关系语
11、）反映黏着语功能和特性。可翻译的是体语（名词、代词等）。,语言差异：越南语-汉语,语音 越汉都有声调，前者有6个，后者有5个。语法 越汉都是孤立语，动词没有型态变化，名词既没有性、数、格的形式和变化，形容词无需和名词保持性、数、格上的一致。通过词序来表达语法作用。都是主谓宾结构(SVO)。 跟多数东南亚语言（泰、高棉、马来语等）一样，越南语也是形容词后 置的语言。 越南语就不是Vit（越）Nam（南）Ting（语），而是Ting Vit Nam；京族的正式语言就应该写成 ngn ng（言语）chnh thc（正式）ca属于、的dn tc（民族）Kinh（京）。,最简机器翻译方案,语义翻译 基于
12、双语词典语法翻译 基于语言模型联合得分最大化重排句子,为什么可以这么做,汉字的序顺其实不响影的你阅读和理解，是吧?既然大部分汉语借词本来就是用汉字书写的，那我们就恢复它的本来面目！这就是最精确的翻译！分离语义和语法翻译，让机器翻译过程更为明确，更有针对性 把双语的翻译转换为单语的重述任务,存在的问题1,语义翻译：消歧一个音对应多个字基于上下文特征处理 使用长词的双语词典进行最大匹配处理（用于汉越语词汇）,存在的问题2,语法翻译 训读汉字串是非法顺序的中文解决方案 基于重述的修正 简化方案：使用语言模型调序 相当于哈密顿路问题，这是NP完全问题，不存在多项式解法。优化方法是，一边搜索一边保存已经
13、搜过的答案，不重复计算。,存在的问题2 ：例子1,红星是他的一个特殊的纸覆盖着太阳晒黑的葡萄，他用一种特种纸包住葡萄，以防止果皮被晒焦。Red Star is his grapes covered with a special paper to sun tanning,存在的问题2 ：例子2,据统计，目前一群在宁顺，约80,000已筹得超过150个农场。据统计，目前在宁顺羊群，有大约80,000名儿童在150户以上。 According to statistics, the current flock in Ninh Thuan, about 80,000 had been raised fo
14、r more than 150 farms.,存在的问题2 ：例子2,据统计，宁顺现饲养有大约8万只绵羊，分散在150个庄园。,存在的问题2 ：例子2,在宁顺省的干旱经常遭受饥饿。 the drought in Ninh Thuan province often suffer from hunger.大旱之年往往缺粮。,重述策略,把非人的话语转化为人话。 机器翻译的终极问题仔细观察大量的高质量的机器翻译输出文本，发现：其文本其实是可以理解，或者是可以猜测的，但是，可惜的是，描述并不地道。使用重述处理来增强翻译质量,越南语转换实例,对照原文 Du khch Ty Ban Nha thng thc
15、 tr ti Trm Anh qun. 西班牙游客在簪缨馆品茶。 逐词的训读汉字串转化如下进一步通过基于语言模型的改写和语序重排后得到的最终结果是 西班牙游客赏识茶在簪缨店。Google翻译 西班牙游客享受茶在英国的前哨基地。 Spanish tourists enjoy tea at the British outpost.考虑到谷歌翻译对于British这个词翻译为越南语“ngi Anh”，恰和上文的Trm Anh这个词共享主要音节Anh。我们有理由推测，谷歌翻译使用了英文作为中间语言来处理越汉翻译。,评估度量,BLEU等度量综合考虑机器翻译文本的质量但是我们这里涉及两个阶段的输出文本 因此，我们额外引入一个理解率的度量，说明多大程度上，机器输出文本可以被正确的猜测出来近似的用标准答案和输出文本的编辑距离表示训读汉字串具有很高的理解率!,目录,问题概述拼音输入法 机器翻译：服务于汉字文化圈语言结语,更多的应用,训读汉字串是用汉字重写我们邻居的语言 外国人学习汉语 中国人学习韩语、越南语比对语义相同的汉字的发音演变,结语,汉语拼音到汉字的转换 拼音输入法韩语/越南语到汉字的转化 机器翻译汉字发挥中轴作用 克服语料匮乏的困难； 实现精确翻译 使用统一的串解码模型解决不同的问题,
