基于词间关联度度量的维吾尔文本自动切分方法

• 作者: 吐尔地·托合提 维尼拉·木沙江 艾斯卡尔·艾木都拉
• 来源期刊: 北京大学学报（自然科学版）
• 学科: 工学
• 关键词: 语义串 互信息 t-测试差 邻接对熵 单词结合规则
• 年，卷（期）: 2016,（1）
• 页码范围: 155-164
• 页数: 10页
• 分类号: TP391
• 字数: 7842字
• 语种: 中文
• DOI: 10.13209/j.0479-8023.2016.023

摘要

提出一种基于词间关联度度量的维吾尔文本自动切分方法.该方法从大规模生语料库中自动获取维吾尔文单词Bi-gram及上下文语境信息,在充分考虑维吾尔文单词间结合规则的前提下,将相邻单词间的互信息、t-测试差及双词邻接对熵的线性融合作为组合统计量(dmd),度量文本中相邻单词之间的关联程度.以dmd度量的弱关联的词间位置作为切分点进行自动切分,得到语义及结构完整的词串,而不仅仅是以空格隔开的单词.在大规模文本语料上进行的测试表明,该方法的切分准确率达到88.21％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	艾斯卡尔·艾木都拉	新疆大学信息科学与工程学院	170	561	11.0	15.0
2	吐尔地·托合提	新疆大学信息科学与工程学院	19	115	7.0	10.0
3	维尼拉·木沙江	新疆大学信息科学与工程学院	36	127	6.0	9.0