基于Python的Web信息获取方法研究

• 作者: 何忠秀 唐建梅 魏冬梅
• 来源期刊: 软件导刊
• 学科: 工学
• 关键词: Python 信息获取 网络爬虫 正则表达式
• 年，卷（期）: 2018,（1）
• 所属期刊栏目: 软件理论与方法
• 页码范围: 41-43
• 页数: 3页
• 分类号: TP301
• 字数: 2612字
• 语种: 中文
• DOI: 10.11907/rjdk.172302

摘要

随着大数据和云计算等新一代互联网技术的迅速发展,Web信息量逐日海量递增.从海量数据中提取有效信息,挖掘有潜在价值的关系成为当前的研究热点,这对揭示已知规律、预测未知结果有极大的辅助作用.对当前Web信息获取方法、原理和关键技术进行研究分析,重点阐述了数据采集相关技术中网络爬虫算法的分类与应用.提出一种以Python和相关库为主要工具,结合模块化方法,构建Web文本信息获取系统框架与流程的策略.案例中通过定义采集函数,实现对给定的维基百科词条,快速搜索与该词条相关信息,对词条内链接和外链接进行有效爬取.结果表明,Python在数据采集方面具有较高的有效性和可扩展性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	魏冬梅	西华大学计算机与软件工程学院	14	65	5.0	8.0
2	何忠秀	西华大学计算机与软件工程学院	15	121	5.0	11.0
3	唐建梅	西华大学计算机与软件工程学院	1	27	1.0	1.0