关键词自动提取方法的研究与改进

• 作者: 伍雁鹏 朱群峰 黄磊
• 来源期刊: 计算机科学
• 学科: 工学
• 关键词: 关键词提取 特征权重 TFIDF DI-TFIDF
• 年，卷（期）: 2014,（6）
• 所属期刊栏目: 人工智能
• 页码范围: 204-207
• 页数: 4页
• 分类号: TP391.1
• 字数: 5149字
• 语种: 中文

摘要

关键词提取技术是信息检索和文本分类领域的基础与关键技术之一.首先分析了TFIDF算法中存在的不足,即IDF(InverseDocument Frequency)权值中没有考虑特征词在类内以及类别间的分布情况.因此,原有的TFIDF方法会出现有些不能代表文档主题的低频词的IDF值很高,而有些能够代表文档主题的高频词的IDF值却很低的情况,这会导致关键词提取不准确.通过增加一个新的权值,即类内离散度DI(Distribution Information)来增加关键的特征词条的权重,提出了一种新的算法DI-TFIDF.实验中使用的是搜狗语料库,选择其中的体育、教育和军事3类文档各1000篇作为实验的语料库,分别用基于传统TFIDF方法和基于DI-TFIDF方法提取关键词.实验结果表明,所提出的DI-TFIDF方法提取关键词的准确度要高于传统的TFIDF算法.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	伍雁鹏	邵阳学院信息工程系	27	139	6.0	10.0
2	黄磊	湖南大学信息科学与工程学院	11	57	3.0	7.0
4	朱群峰	邵阳学院信息工程系	27	144	7.0	11.0