基于互信息改进算法和t-测试差的壮文分词算法研究

• 作者: 易云飞 林叶川 覃俊
• 来源期刊: 中南民族大学学报（自然科学版）
• 学科: 工学
• 关键词: 壮文分词 MI改进算法 t-测试差 混合算法 语义词
• 年，卷（期）: 2017,（4）
• 所属期刊栏目: 计算机科学
• 页码范围: 100-105
• 页数: 6页
• 分类号: TP391
• 字数: 6107字
• 语种: 中文

摘要

针对传统的壮文分词方法将单词之间的空格作为分隔标志,在多数情况下,会破坏多个单词关联组合而成的语义词所要表达的完整且独立的语义信息,在借鉴前人使用互信息MI方法来度量相邻单词间关联程度的基础上,首次采用互信息改进算法MIk和t-测试差对壮文文本分词,并结合两者在评价相邻单词间的静态结合能力和动态结合能力的各自优势,提出了一种MIk和t-测试差相结合的TD-MIk混合算法对壮文文本分词,并对互信息改进算法MIk、t-测试差、TD-MIk混合算法三种方法的分词效果进行了比较.使用人民网壮文版上的文本集作为训练及测试语料进行了实验,结果表明:三种分词方法都能够较准确而有效地提取文本中的语义词,并且TD-MIk混合算法的分词准确率最高.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	覃俊	中南民族大学计算机科学学院	51	338	11.0	16.0
2	林叶川	中南民族大学计算机科学学院	1	0	0.0	0.0