爬虫技术在互联网领域的应用

• 作者: 肖良玉
• 来源期刊: 数码世界
• 关键词: 爬虫技术 互联网 JAVA多线程 网页挖掘
• 年，卷（期）: 2017,（12）
• 所属期刊栏目: 前沿论坛
• 页码范围: 548-549
• 页数: 2页
• 字数: 3394字
• 语种: 中文
• DOI: 10.3969/j.issn.1671-8313.2017.12.482

摘要

随着科学技术的不断发展,云计算和大数据技术也在不断的进行着更深层次的研究和探索,网页信息的搜索技术是如今计算机领域的焦点问题,需要借用大数据技术来对信息进行采集和过滤,这是目前计算机领域的一个热点问题.本论文针对爬虫技术的自身特点做了概述,并且分析了爬虫技术在实际运用中的优点和劣势,针对目前互联网行业的难点问题,都利用爬虫技术试着解决,进一步对数据进行分析和过滤,从而达到技术的支持.特别是针对互联网金融信息数据的获取和搜集上目前研究的难点问题,进一步针对三种网络爬虫技术的搜索技术进行比较分析,对深度优化搜索和广度优先搜索进行理论分析,继而对一种改进算法——最好优先搜索方法进行JAVA程序实现,运用到的多线程技术可以提高程序的搜索效率.