基于Python的豆瓣读书网站用户信息采集

• 作者: 关菁华 李鑫欣
• 来源期刊: 电脑知识与技术:学术版
• 学科: 工学
• 关键词: PYTHON 网络爬虫 数据采集 模拟登录 URL去重
• 年，卷（期）: 2019,（3Z）
• 页码范围: 4-6
• 页数: 3页
• 分类号: TP393

摘要

21世纪是大数据时代。随着互联网的发展与普及,人们在互联网上会留下大量的"个人信息足迹"。网络数据量呈指数级增长,与此同时人们获取想要的信息的难度也大幅度提高。搜索引擎的出现和发展提高了用户检索信息的效率。网络爬虫是搜索引擎相关技术的重要组成部分,爬虫技术的发展助推信息资源获取更加高效便捷。基于Python技术对目标网站--豆瓣网用户读书喜好信息(包括用户想读、在读、读过、评论等)进行采集与存储,为后期的个性化推荐方法研究提供数据支持。在数据采集过程中涉及URL去重、模拟登录、翻页等技术处理。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李鑫欣	大连外国语大学软件学院	3	1	1.0	1.0
2	关菁华	大连外国语大学软件学院	13	19	3.0	4.0