相似语言文本横向处理的研究

• 作者: 伊·达瓦 古力沙吾利·塔里甫 木合亚提·尼亚孜别克
• 来源期刊: 复旦学报（自然科学版）
• 学科: 工学
• 关键词: 多文种文本横向处理 相似语言 相似度 DP算法 少数民族语言
• 年，卷（期）: 2016,（3）
• 所属期刊栏目: 计算机科学
• 页码范围: 354-359,387
• 分类号: TP391.1
• 语种: 中文

摘要

针对电子资源短缺少数民族语言自然语言处理问题,提出了借助于大语言大数据,着重语言的相似性交叉处理的方法.该文在本次试验中利用维哈柯语及蒙古语多文种文本7 854条平行语料,分词单位和短句子单位考查分析了同语族语言以及不同族语言之间、同语系不同语族语言之间的相似程度.引用动态规划(DP)算法定量地获取了语言之间的相似性.实验结果显示:在句子阶段,维哈柯语言其相似度为84.3％,蒙族类语言为81.3％;在词阶段,维哈柯语言相似度可达到91.6％,而蒙族类语言相似度可达到87.8％.另外,同语系而不同语族多语言的相似性较低,在词级单位考查其相似程度不超过10％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	木合亚提·尼亚孜别克	新疆大学信息科学与工程学院	30	54	4.0	6.0
3	古力沙吾利·塔里甫	新疆医科大学中医学院	28	26	3.0	4.0
6	伊·达瓦	新疆大学信息科学与工程学院	4	0	0.0	0.0