LD A模型下不同分词方法对文本分类性能的影响研究

• 作者: 丁丛 李湘东 高凡
• 来源期刊: 计算机应用研究
• 关键词: 文本分类 LDA主题模型 语料度量 分词方法
• 年，卷（期）: 2017,（1）
• 所属期刊栏目: 算法研究探讨
• 页码范围: 62-66
• 页数: 5页
• 分类号: TP391.1
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3695.2017.01.012

摘要

通过定义类别聚类密度、类别复杂度以及类别清晰度三个指标，从语料库信息度量的角度研究多种代表性的中文分词方法在隐含概率主题模型LDA下对文本分类性能的影响，定量、定性地分析不同分词方法在网页和学术文献等不同类型文本的语料上进行分类的适用性及影响分类性能的原因。结果表明：三项指标可以有效指明分词方法对语料在分类时产生的影响，Ik Analyzer和ICTCLAS分词法分别受类别复杂度和类别聚类密度的影响较大，二元分词法受三个指标的作用相当，使其对于不同语料具有较好的适应性。对于学术文献类型的语料，使用二元分词法时的分类效果较好，F1值均在80％以上；而网页类型的语料对于各种分词法的适应性更强。尝试通过对语料进行信息度量而非单纯的实验来选择提高该语料分类性能的最佳分词方法，以期为网页和学术文献等不同类型的文本在基于LDA模型的分类系统中选择合适的中文分词方法提供参考。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	高凡	武汉大学信息管理学院	13	58	5.0	7.0
2	李湘东	武汉大学信息管理学院	37	187	8.0	13.0
6	丁丛	武汉大学信息管理学院	7	37	3.0	6.0