中文文本同频词统计规律及在关键词提取中的应用

• 作者: 李晓超 柳萌萌 罗燕 赵书良 陈敏
• 来源期刊: 计算机应用研究
• 关键词: 同频词 齐普夫定律 布茨定律 提取 TF-IDF算法
• 年，卷（期）: 2016,（4）
• 所属期刊栏目: 算法研究探讨
• 页码范围: 1007-1012
• 页数: 6页
• 分类号: TP391.1
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3695.2016.04.010

摘要

通过大量实验对中文文本中同频词的统计规律进行了研究，利用齐普夫定律推导出了适合中文文本的同频词数的数学表达式，能更准确地表示出不同长度的文本中各频次的同频词数；借助同频词数的数学表达式，重新确立了中文文本中高频词和低频词的界分公式，并通过实验验证了该公式能够更好地界分高频词和低频词。将提出的统计规律应用于中文文本关键词提取，有效提高了关键词提取效率，在文本长度不小于3010词的前提下，频次为1和频次为2的词不必参与TF-IDF值的计算，可将计算效率提高2～7倍，且没有造成关键词丢失。解决了学术界关心的如何处理中文低频词的问题，对关键词提取中如何处理低频词提供了可操作标准。