一种基于时间序列预测的重采策略

• 作者: 俞晓明 刘悦 史存会 孟剑 程学旗 靳小龙
• 来源期刊: 中文信息学报
• 学科: 工学
• 关键词: 网络采集 采集策略 时间序列预测
• 年，卷（期）: 2019,（7）
• 所属期刊栏目: 信息抽取与文本挖掘
• 页码范围: 101-109
• 页数: 9页
• 分类号: TP391
• 字数: 7711字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-0077.2019.07.012

摘要

及时获取新增内容,是采集器的重要衡量指标.基于版块页-内容页架构设计的网络采集器通过定期重采入口的版块页,能够有效地快速识别新产生内容页面并进行扩展.然而获取内容的实时性与对网站访问的友好性存在一定的折中.传统的重采策略关注时效性,而忽略了对网站访问的友好性.该文提出了一种基于时间序列预测的改进重采策略兼顾时效性和友好性.实验表明,该方法可以在保证数据采集实时性的情况下,有效降低访问量,提升对网站访问的友好性.