长白山生态数据爬取及清洗研究

• 作者: 郑国勋 姚学坤 陈冠澎 胥政尧
• 来源期刊: 长春工程学院学报（自然科学版）
• 学科: 工学
• 关键词: 长白山生态数据 爬虫 缺失值 数据清洗
• 年，卷（期）: 2021,（4）
• 所属期刊栏目: 信息技术
• 页码范围: 82-86,124
• 页数: 6页
• 分类号: TP391
• 语种: 中文
• DOI: 10.3969/j.issn.1009-8984.2021.04.017

摘要

在开展长白山生态数据智能分析时,需要爬取大量的网络数据,这些数据大概率会出现缺失、重复、异常、噪声等情况,因此需要对爬取到的数据进行必要的清洗的功能.设计了一种爬虫,并实现了数据清洗的功能,实验证明,100万条数据的爬取用时<30 min.