基于行业专有词典的TF-IDF特征选择算法改进

• 作者: 刘宏志 刘诗祥 张齐勋 曹健 贾堂
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 行业专有词典 TF-IDF 特征空间 特征选择算法
• 年，卷（期）: 2017,（7）
• 所属期刊栏目: 算法
• 页码范围: 277-281
• 页数: 5页
• 分类号: TP391.1
• 字数: 4138字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2017.07.051

摘要

行业专有词典是收录特定行业专有用语的词典,将行业专有词典运用到基于TF-IDF的特征选取算法中可提高文本特征空间的完备性.基于TF-IDF的改进算法的核心目标是提取出低频的关鍵词,现有的基于统计特征的改进方法增加了原始算法的计算复杂度,降低了算法的效率.针对这一问题,在原始的TF-IDF特征选取算法上采用词典映射的方法提取低频关鍵词来构建完备的特征空间.实验结果表明,基于行业专有词典的TF-IDF算法提取出的特征较未使用行业专有词典特征选取算法提取出的特征在后续的二次聚类验证实验中能有效地提高聚类的查全率和查准率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘宏志	北京大学软件与微电子学院	10	109	5.0	10.0
2	张齐勋	北京大学软件与微电子学院	4	117	3.0	4.0
6	曹健	北京大学软件与微电子学院	10	29	3.0	5.0
10	贾堂	北京大学软件与微电子学院	2	8	1.0	2.0
11	刘诗祥	北京大学软件与微电子学院	1	8	1.0	1.0