基于Scrapy爬虫框架的领域网站文件爬取

• 作者: 邹维 李廷元
• 来源期刊: 现代信息科技
• 学科: 工学
• 关键词: Scrapy 爬虫 Selenium 朴素贝叶斯
• 年，卷（期）: 2020,（21）
• 所属期刊栏目: 信息技术
• 页码范围: 6-9
• 页数: 4页
• 分类号: TP391
• 语种: 中文
• DOI: 10.19850/j.cnki.2096-4706.2020.21.002

摘要

为了提高航行通告文件下载效率、节省人工资源,文章通过Scrapy爬虫框架,结合自然语言处理中的信息,分类爬取各民航局发布的航行通告文本.首先基于网页数据交互模式将网站分类,结合Selenium自动化测试工具进行网页下载.然后使用朴素贝叶斯算法将网站所有链接进行分类,区分为目标链接以及非目标链接,从而实现提取航行通告文本链接,此分类模型在领域类网站准确率为95.97％.