大规模语料的频繁模式快速发现算法

• 作者: 程学旗 许洪波 贺敏 陈海强 龚才春
• 来源期刊: 通信学报
• 学科: 工学
• 关键词: 频繁模式 语料划分 重复串
• 年，卷（期）: 2007,（12）
• 所属期刊栏目: 学术通信
• 页码范围: 161-166
• 页数: 6页
• 分类号: TP391
• 字数: 4033字
• 语种: 中文
• DOI: 10.3321/j.issn:1000-436x.2007.12.028

摘要

提出了一种大规模语料频繁模式快速发现算法,通过采用合适的策略将语料划分为若干子语料,对每个子语料单独进行处理,即可获得原始语料的频繁模式;同时该算法能够避免处理频次在设定阈值以下的模式,进一步减少了内存占用,提高了处理速度.实验表明,对3.6G互联网新闻语料发现频次大于100的所有频繁模式中最高消耗内存为1.6GB,单机平均每秒处理文本语料3.28M.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	程学旗	中国科学院计算技术研究所	160	4858	31.0	67.0
2	许洪波	中国科学院计算技术研究所	42	988	14.0	31.0
3	陈海强	中国科学院计算技术研究所	4	119	3.0	4.0