分布式大数据采集关键技术研究与实现

• 作者: 付华峥 刘春 向勇 陈翀
• 来源期刊: 广东通信技术
• 关键词: 大数据 数据采集 正文提取 IP代理池
• 年，卷（期）: 2015,（10）
• 所属期刊栏目: 运营与应用
• 页码范围: 7-10,79
• 页数: 5页
• 语种: 中文
• DOI: 10.3969/j.issn.1006-6403.2015.10.002

摘要

随着大数据时代的到来,针对大数据的挖掘与分析已经成为当今的研究热点.而数据集是大数据挖掘和分析的基础.因此一个有效的数据采集方案对大数据挖掘研究具有重要意义.提出了高效的分布式大数据采集系统.在该系统的解析模块中提出了一种通用有效的基于标签树节点权重的正文提取算法.同时引入IP代理池技术来保证系统的持续性.实验证明,本系统能够高效快速地获取大量的网络数据,且具有强的鲁棒性、可行性和灵活性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	向勇	中国电信股份有限公司广东研究院	8	112	4.0	8.0
2	刘春	中国电信股份有限公司广东研究院	11	105	5.0	10.0
3	付华峥	中国电信股份有限公司广东研究院	3	20	3.0	3.0
4	陈翀	中国电信股份有限公司广东研究院	9	86	5.0	9.0