结合CHI统计和改进TF-IDF算法的微博特征项提取

• 作者: 严萌 徐迅 朱燕飞 郑卜松
• 来源期刊: 电子世界
• 关键词: CHI TF-IDF 特征提取 词频
• 年，卷（期）: 2016,（22）
• 所属期刊栏目: 探索与观察
• 页码范围: 67-68
• 页数: 2页
• 字数: 2786字
• 语种: 中文

摘要

特征项是微博话题检测中的重要因素,特征项的提取结果直接影响话题检测计算的复杂度和准确度.本文提出了一种结合CHI方法和改进TF-IDF算法的方法来提取特征项,从而来降低空间向量的维数.本文考虑到了中文词中存在一义多词或一词多义的缘故,对传统的归一化TF-IDF算法进行了一些改进,即在计算词的权重时结合了词的语义.通过该算法来提取特征项不仅可以降低建空间向量时的维度,而且还可以减少话题的重复性,但在计算权重后容易忽略一些有利于分类的低频词,故本文在改进TF-IDF算法的同时还结合了CHI统计方法,该方法可以发现一些有利于文本分类结果的低频词.故能从一定程度上提高话题检测的准确率和速度.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	朱燕飞	广东工业大学自动化学院	20	104	5.0	9.0
2	郑卜松	广东工业大学自动化学院	2	4	1.0	2.0
3	严萌	广东工业大学自动化学院	2	3	1.0	1.0
4	徐迅	广东工业大学自动化学院	1	1	1.0	1.0