基于逐层剪枝的中文高频重复模式快速提取算法

• 作者: 刘战东 张海军 木妮娜
• 来源期刊: 计算机科学
• 学科: 工学
• 关键词: 重复串 散列表 低频字串 逐层剪枝 新词识别
• 年，卷（期）: 2014,（5）
• 所属期刊栏目: 人工智能
• 页码范围: 270-274
• 页数: 5页
• 分类号: TP391
• 字数: 7425字
• 语种: 中文

摘要

为了从大规模语料中快速提取高频重复模式,以递增n-gram模型为基础,使用散列数据结构提取重复串,并提出了一种基于低频字符和层次剪枝的逐层剪枝算法,用于过滤低频垃圾字串,减少I/O读写次数.在此基础上,应用改进的字串排序算法,使字符串排序可在O(n)时间内完成,从而有效提高重复模式的提取效率.实验表明,该算法是一种有效的重复模式提取算法,其I/O读写次数同语料规模呈线性关系,远小于使用首字符进行语料划分的方法,能快速有效地从规模远大于内存容量的文本语料中提取重复模式,特别适合于大规模语料的高频重复模式提取,对以重复模式为基础的新词识别、术语抽取等具有重要的支撑作用.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张海军	新疆师范大学初等教育学院	23	155	5.0	12.0
5	刘战东	新疆师范大学计算机科学技术学院	7	15	2.0	3.0
6	木妮娜	新疆师范大学计算机科学技术学院	6	21	2.0	4.0