面向超大规模的中文文本N-gram串统计

• 作者: 余一骄 刘芹
• 来源期刊: 计算机科学
• 学科: 工学
• 关键词: 汉字 N-gram 语料库 排序
• 年，卷（期）: 2014,（4）
• 所属期刊栏目: 人工智能
• 页码范围: 263-268
• 页数: 6页
• 分类号: TP391.1
• 字数: 9083字
• 语种: 中文

摘要

中文文本统计软件Cici高效地实现了对超大规模中文文本语料N-gram串频次的统计与检索.通过统计不同规模中文语料库发现,当N等于6时,语料库中包含的不同N-gram汉字串数量最多.根据“句子”的平均长度和数量,可以准确估算语料库中包含的N-gram串数量.根据多数汉字串在语料库中出现频次低于10次的特点,提出对汉字串频次信息实现分段存储与排序,即对频次不超过10的汉字串独立存储,对频次高于10的汉字串进行分段排序与存储.对大规模中文文本应先进行分块统计,然后合并分块统计结果,建议分块规模约为20MB.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘芹	武汉大学计算机学院	9	33	5.0	5.0
2	余一骄	华中师范大学语言学系	6	30	4.0	5.0