反爬虫战争

• 来源期刊: 少先队员:知识路
• 学科: 经济
• 关键词: 搜索引擎网站 20世纪90年代 战争 敏感信息 技术 从业者 邮件
• 年，卷（期）: sxdyzsl_2019,（5）
• 页码范围: 32-34
• 页数: 3页
• 分类号: F416.67

摘要

几乎是和爬虫技术诞生的同一时刻,反爬虫技术也诞生了。在20世纪90年代开始有搜索引擎网站利用爬虫技术抓取网站时,一些捜索引擎从业者和网站站长通过邮件讨论定下了一项“君子协议”——robots.txto即网站有权规定网站中哪些内容可以被爬虫抓取,哪些内容不可以被爬虫抓取。这样既可以保护隐私和敏感信息,又可以被搜索引擎收录、增加流量。