Hadoop平台下海量数据排行榜过滤算法

• 作者: 陈欢 黄德才
• 来源期刊: 计算机系统应用
• 学科: 工学
• 关键词: 排行榜 Hadoop 海量数据 熵 贝叶斯
• 年，卷（期）: 2012,（3）
• 所属期刊栏目: 研究开发
• 页码范围: 111-115,124
• 分类号: TP391.3
• 字数: 4102字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-3254.2012.03.025

摘要

排行榜作为现代社会很受关注的一项事物深入大家的生活,但对于海量数据的排行,即使在分布式环境下,依然需要耗费大量硬件资源和很长的时间,有时甚至无法产出榜单.首先对贝叶斯方法进行了改进,提出了一种基于hadoop分布式环境下的行榜海量数据过滤算法,该方法利用熵值理论对缺损数据进行填补得到完整数据;再利用改进的贝叶斯方法计算某商品当日销量进榜单的概率,并对概率低于概率阈值的商品数据进行过滤使其不参与排行计算,从而在确保排行榜精确度的前提下大大缩短榜单的产出时间.对淘宝网中400万条销售记录数据进行实验仿真,结果验证了上述方法的有效性和优越性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	黄德才	浙江工业大学计算机科学与技术学院	127	1618	20.0	35.0
2	陈欢	浙江工业大学计算机科学与技术学院	5	26	2.0	5.0