大数据采集中常见问题解决策略分析

• 作者: 王婷
• 来源期刊: 电脑与信息技术
• 学科: 工学
• 关键词: 大数据 采集 python 策略
• 年，卷（期）: 2019,（6）
• 所属期刊栏目: 数据库与信息处理
• 页码范围: 36-38
• 页数: 3页
• 分类号: TP311
• 字数: 1874字
• 语种: 中文

摘要

“大数据”是一个体量特别大,数据类别特别大的数据集,通过多元方式对多种来源数据内容进行抓取、管理和处理.而数据采集作为大数据应用中第一个环节是通过数据采集工具将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础,python作为数据采集的工具之一,以其简洁的语法,在数据采集中提供了便利,而网络作为数据集中地为我们提供了大量有价值的信息,本文通过网络数据采集方法,介绍在网络数据采集中常见问题解决策略.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王婷	晋中职业技术学院电子信息学院	6	6	2.0	2.0