详解网络爬虫与web安全

• 来源期刊: 计算机与网络
• 学科: 工学
• 关键词: 网络爬虫 web安全 搜索引擎 详解 自动抓取 技术组织 网络机器人 Web网页
• 年，卷（期）: 2012,（12）
• 所属期刊栏目: 安全咖啡屋
• 页码范围: 38-39
• 页数: 2页
• 分类号: TP393.4
• 字数: 3345字
• 语种: 中文

摘要

网络爬虫概述 网络爬虫（WebCrawler），又称网络蜘蛛（WebSpider）或网络机器人（WebRobot），是一种按照一定的规则自动抓取万维网资源的程序或者脚本，已被广泛应用于互联网领域。搜索引擎使用网络爬虫抓取Web网页、文档甚至图片、音频、视频等资源，通过相应的索引技术组织这些信息，提供给搜索用户进行查询。随着网络的迅速发展．万维网成为大量信息的载体。如何有效地提取并利用这些信息成为一个巨大的挑战。不断优化的网络爬虫技术正在有效地应对这种挑战，为高效搜索用户关注的特定领域与主题提供了有力支撑。