基于词频统计的文本关键词提取方法

• 作者: 丁亚飞 李晓超 罗燕 赵书良 韩玉辉
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: 词频统计 齐普夫定律 同频词 关键词提取 TF-IDF算法
• 年，卷（期）: 2016,（3）
• 所属期刊栏目: 人工智能
• 页码范围: 718-725
• 页数: 8页
• 分类号: TP391
• 字数: 6926字
• 语种: 中文
• DOI: 10.11772/j.issn.1001-9081.2016.03.718

摘要

针对传统TF-IDF算法关键词提取效率低下及准确率欠佳的问题,提出一种基于词频统计的文本关键词提取方法.首先,通过齐普夫定律推导出文本中同频词数的计算公式;其次,根据同频词数计算公式确定文本中各频次词语所占比重,发现文本中绝大多数是低频词;最后,将词频统计规律应用于关键词提取,提出基于词频统计的TF-IDF算法.采用中、英文文本实验数据集进行仿真实验,其中推导出的同频词数计算公式平均相对误差未超过0.05;确立的各频次词语所占比重的最大误差绝对值为0.04;提出的基于词频统计的TF-IDF算法与传统TF-IDF算法相比,平均查准率、平均查全率和平均F1度量均有提高,而平均运行时间则均有降低.实验结果表明,在文本关键词提取中,基于词频统计的TF-IDF算法在查准率、查全率及F1指标上均优于传统TF-IDF算法,并能够有效减少关键词提取运行时间.