基于大规模语料划分的频繁模式查找算法

• 作者: 丁溪源 张海军 王树梅 黄河燕
• 来源期刊: 计算机科学
• 学科: 工学
• 关键词: 频繁模式 重复串 语料划分 子串归并
• 年，卷（期）: 2012,（3）
• 所属期刊栏目: 数据库与数据挖掘
• 页码范围: 149-152,169
• 分类号: TP391
• 字数: 6367字
• 语种: 中文
• DOI: 10.3969/j.issn.1002-137X.2012.03.034

摘要

频繁模式查找对新词识别、网络舆情监测、生物信息序列检测等领域有很高的应用价值.为处理规模远超出内存的语料,提出了一种实用的频繁模式查找算法.先将语料按后缀首字符划分为多个集合,通过逐条扫描集合数据,搜索出最大化最长公共前缀区间(MLCPI)来完成查找.另外在此基础上提出逐层归并算法,实现查找的同时归并子串.由于进行查找时无需将全部数据导入内存,因此资源消耗较少；各集合间频繁模式查找互不干扰,可采用并行处理加快运行速度.使用4.61G纯文本语料进行了试验,结果表明其内存消耗小于30M,查找速度最快达1.08M/s,能高效地进行子串归并.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张海军	中国科学院计算机语言信息工程研究中心	56	979	13.0	30.0
2	丁溪源	南京理工大学计算机科学与技术学院	3	19	3.0	3.0
4	黄河燕	北京理工大学计算机科学技术学院	30	311	13.0	16.0
5	王树梅	南京理工大学计算机科学与技术学院	18	163	7.0	11.0