分布数据流上基于Min-wise散列函数的采样

• 作者: 倪巍伟 吕建华 崇志宏 徐立臻 谢英豪
• 来源期刊: 东南大学学报（英文版）
• 学科: 工学
• 关键词: 数据流 聚集 Min-wise散列
• 年，卷（期）: 2009,（4）
• 页码范围: 456-459
• 页数: 4页
• 分类号: TP392
• 字数: 1298字
• 语种: 英文
• DOI: 10.3969/j.issn.1003-7985.2009.04.008

摘要

针对分布数据流中存在的冗余和不一致信息问题, 提出了一种基于Min-wise散列的采样方法, 并定义了反映应用需求的分布数据流并的语义. 首先, 对于每一族Min-wise散列函数选取具有最小散列值的数据作为局部样本, 滤除单个数据流中的频繁更新对采样偏斜的影响. 然后, 对于相同散列函数产生的样本选取具有最小散列值的样本作为全局样本, 完成局部样本集在中心节点的合并, 滤除在分布节点上的重复更新对样本偏斜的影响. 最后, 利用获得的均匀样本集, 在多种数据流并的语义上精确估计聚集函数的值. 基于人造数据和真实数据的对比试验验证了该方法的有效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	吕建华	东南大学计算机科学与工程学院	20	141	7.0	11.0
2	倪巍伟	东南大学计算机科学与工程学院	48	851	19.0	27.0
3	徐立臻	东南大学计算机科学与工程学院	52	1042	17.0	31.0
4	崇志宏	东南大学计算机科学与工程学院	15	181	7.0	13.0
5	谢英豪	东南大学计算机科学与工程学院	1	0	0.0	0.0