融合BTM主题特征的短文本分类方法

• 作者: 代宁 吴文岫 郑诚
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 短文本 权重计算 TF-IWF方法 主题模型
• 年，卷（期）: 2016,（13）
• 所属期刊栏目: 大数据与云计算
• 页码范围: 95-100
• 页数: 6页
• 分类号: TP391.1
• 字数: 5164字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1412-0307

摘要

针对短文本特征较少而导致使用传统文本分类算法进行分类效果并不理想的问题,提出了一种融合BTM主题特征和改进了特征权重计算的综合特征提取方法来进行短文本分类.方法中,在TF-IWF的基础上降低词频权重并引入词分布熵,衍生出新的算法计算权重.结合BTM主题模型中各主题下的主题词对词数较少的文档进行补充,并选择每篇文档在各个主题下的概率分布作为另一部分文档特征.通过KNN算法进行多组分类实验,结果证明该方法与传统的TF-IWF等方法计算特征进行比较,F1的结果提高了10%左右,验证了方法的有效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	郑诚	安徽大学计算机科学与技术学院	3	39	3.0	3.0
5	代宁	安徽大学计算机科学与技术学院	4	37	3.0	4.0
9	吴文岫	安徽大学计算机科学与技术学院	1	17	1.0	1.0