论文降重
免费查重- 钛学术文献服务平台 \
- 学术期刊 \
- 信息科技期刊 \
- 计算机软件及计算机应用期刊 \
- 电子技术与软件工程期刊 \
基于Scrapy的新闻网页数据抓取设计
基于Scrapy的新闻网页数据抓取设计
基本信息来源于合作网站，原文需代理用户跳转至来源网站获取
摘要：
本文使用Python开发语言、Scrapy爬虫框架以及MySQL数据库设计抓取新闻网页中的新闻数据,并存储到数据库中。新闻语言文本自身的真实性和时代性,具有非常重要的研究意义和价值。网络爬虫技术使网上新闻数据得以获取、利用,为新闻信息研究提供了数据支持,保证了相关研究工作的顺利开展。
推荐文章
基于领域向量模型的新闻网页分类算法
领域模型
网页信息模型
网页分类
基于Scrapy的分布式网络新闻抓取系统设计
Scrapy框架
分布式网络爬虫
网络新闻抓取系统
基于W eb的高校新闻网设计与开发
新闻网
工作流
Web
三层架构
基于新闻网页主题要素的网页去重方法研究
新闻主题要素
模糊匹配
去重算法
内容分析
关键词云
关键词热度
相关文献总数
(/次)
(/年)
引文网络
引文网络
二级参考文献 (5)
共引文献 (0)
参考文献 (7)
节点文献
引证文献 (0)
同被引文献 (0)
二级引证文献 (0)
2010(1)
- 参考文献（0）
- 二级参考文献（1）
2014(1)
- 参考文献（0）
- 二级参考文献（1）
2015(2)
- 参考文献（1）
- 二级参考文献（1）
2017(1)
- 参考文献（0）
- 二级参考文献（1）
2018(2)
- 参考文献（1）
- 二级参考文献（1）
2020(1)
- 参考文献（1）
- 二级参考文献（0）
2020(0)
- 参考文献(0)
- 二级参考文献(0)
- 引证文献(0)
- 二级引证文献(0)
研究主题发展历程
节点文献
网络爬虫
网页数据抓取
Scrapy
研究起点
研究来源
研究分支
研究去脉
引文网络交叉学科
相关学者/机构
期刊影响力
电子技术与软件工程
主办单位：
中国电子学会
中电新一代(北京)信息技术研究院
出版周期：
半月刊
ISSN：
2095-5650
CN：
10-1108/TP
开本：
16开
出版地：
北京市海淀区玉渊潭南路惠普南里13号楼
邮发代号：
创刊时间：
2012
语种：
chi
出版文献量（篇）
36183
总下载数（次）
321
总被引数（次）
56308
期刊文献
相关文献
推荐文献
- 期刊分类
- 期刊（年）
- 期刊（期）
- 期刊推荐
电子技术与软件工程2020
电子技术与软件工程2019
电子技术与软件工程2018
电子技术与软件工程2017
电子技术与软件工程2016
电子技术与软件工程2015
电子技术与软件工程2014
电子技术与软件工程2013
电子技术与软件工程2012
电子技术与软件工程2000
电子技术与软件工程2020年第9期
电子技术与软件工程2020年第8期
电子技术与软件工程2020年第7期
电子技术与软件工程2020年第6期
电子技术与软件工程2020年第5期
电子技术与软件工程2020年第4期
电子技术与软件工程2020年第3期
电子技术与软件工程2020年第24期
电子技术与软件工程2020年第23期
电子技术与软件工程2020年第22期
电子技术与软件工程2020年第21期
电子技术与软件工程2020年第20期
电子技术与软件工程2020年第2期
电子技术与软件工程2020年第19期
电子技术与软件工程2020年第18期
电子技术与软件工程2020年第17期
电子技术与软件工程2020年第16期
电子技术与软件工程2020年第15期
电子技术与软件工程2020年第14期
电子技术与软件工程2020年第13期
电子技术与软件工程2020年第12期
电子技术与软件工程2020年第11期
电子技术与软件工程2020年第10期
电子技术与软件工程2020年第1期
