基于互信息的文本分类改进方法研究

• 作者: 余璇 孙伟 张翔
• 来源期刊: 微型机与应用
• 学科: 工学
• 关键词: 主题模型 词频 互信息 特征选择
• 年，卷（期）: 2017,（19）
• 所属期刊栏目: 软件与算法
• 页码范围: 19-22
• 页数: 4页
• 分类号: TP301.6
• 字数: 4027字
• 语种: 中文
• DOI: 10.19358/j.issn.1674-7720.2017.19.006

摘要

传统的LDA主题模型没有考虑词频对主题分类的影响,使得主题分布向高频词倾斜.为了综合考虑词频和主题间的相关性,文中利用互信息能够表达变量间相关性的特点,在互信息基础上改进作为特征选择方法,利用评价函数评价特征词的权重值改进LDA算法分类过程,提高对主题分类贡献度高的特征词的作用.通过在新闻语料库上的分类实验证明了该方法的有效性,同时表明分类的准确率也有所提高.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	孙伟	上海海事大学信息工程学院	22	126	6.0	11.0
2	张翔	上海海事大学信息工程学院	4	4	1.0	2.0
3	余璇	上海海事大学信息工程学院	4	10	2.0	3.0