濒危语言与汉语平行语料库动态构建技术研究

• 作者: 于重重 刘畅 孙沁瑶 尹蔚彬 张青川 曹帅
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 濒危语言 吕苏语 语料扩展 平行语料库
• 年，卷（期）: 2018,（9）
• 所属期刊栏目: 数据工程
• 页码范围: 63-66,91
• 页数: 5页
• 分类号: TP3
• 字数: 3706字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2018.09.011

摘要

利用自然语言处理的各种技术完成濒危语言的口语记音、转写、标注和翻译是保护国家濒危语言非物质文化遗产的主要途径.濒危语言是低资源语言,在机器翻译过程中,构建其语言模型面临的主要问题是语料不足.以濒危语言——吕苏语的语料作为被扩展对象,首先提取吕苏语的关键词,然后依据提取的关键词在静态网页下爬虫获取大量的中文文本,最后通过基于最小哈希的Jaccard算法来计算吕苏语语料与获取的中文文本之间的相似度,将相似度较高的中文文本作为吕苏语的汉语平行扩展语料.这一过程有效地解决了濒危语言在机器翻译过程中的语料不足问题.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	于重重	北京工商大学计算机与信息工程学院	99	762	14.0	23.0
2	尹蔚彬	中国社会科学院民族学与人类学研究所	17	43	3.0	6.0
3	孙沁瑶	北京工商大学计算机与信息工程学院	5	10	2.0	3.0
4	曹帅	北京工商大学计算机与信息工程学院	4	14	2.0	3.0
5	张青川	北京工商大学计算机与信息工程学院	13	19	3.0	4.0
6	刘畅	北京工商大学计算机与信息工程学院	12	25	3.0	4.0