一种流数据多播接口的设计、实现与应用

• 作者: 张帆 李晓明 谢正茂
• 来源期刊: 集成技术
• 关键词: 流数据 多播 网页抓取 API 松耦合
• 年，卷（期）: 2012,（1）
• 所属期刊栏目: 互联网与物联网
• 页码范围: 43-47
• 页数: 5页
• 字数: 6535字
• 语种: 中文

摘要

海量流数据的分析与处理是信息社会面对的一个基本问题.各种传感器汇聚的数据是流数据,人们发出的短信对于移动通信运营商的数据中心来说是流数据,人们写的微博对于新浪或者腾讯来说是流数据,搜索引擎网页爬取子系统传给后台处理的数据也可以看成是流数据.尽管它们的应用背景不同,但有共同的特征,即存在一个网络上的汇聚节点,从该节点的角度看,数据源源不断地到来.通常,这些数据会以某种特定的格式缓存起来,待某个特定的后续系统处理.启发本文工作的问题是:那些数据常常是有多方面价值的,有些甚至是当前没有想到的,我们有必要同时开放个流数据接口供未来可能出现的新应用调用.该接口应该具有如下特征:(1)向外输出原始流数据； (2)允许其他(多个)应用程序动态接入和退出； (3)接入的应用程序的行为不影响数据搜集和最初设计的后续系统的功能.本文以连续运行了10年以上的天网搜索引擎和中国Web博物馆(WebInfomall)为例,讨论其网页搜集子系统的改造以适应上述需求,IP多播是采用的基本技术.在介绍了设计思想和实现要点后,我们也给出 个“新应用”的实际例子.这样一个接口的实现,为各种网页流信息分析应用打开了一扇窗口.该接口的设计思想也可以用于其他流数据汇聚系统中.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张帆	北京大学信息科学与技术学院	262	1171	14.0	21.0
2	李晓明	北京大学信息科学与技术学院	127	2603	27.0	49.0
3	谢正茂	北京大学信息科学与技术学院	4	219	3.0	4.0