二次信息采集系统及信息指纹HashTrie研究

• 作者: 朱婵元 李舒晨 沈阳
• 来源期刊: 东南大学学报（英文版）
• 学科: 工学
• 关键词: 物理隔离 二次抓取 网页去重 信息指纹 HashTrie
• 年，卷（期）: 2008,（3）
• 页码范围: 381-384
• 页数: 4页
• 分类号: TP393.09
• 字数: 517字
• 语种: 英文
• DOI: 10.3969/j.issn.1003-7985.2008.03.032

摘要

提出一种在内网和外网间处于物理隔离状态下防止信息重复采集的电子政务二次信息采集交互系统原型.外网用户能够从客户端软件中二次采集由web alert功能采集的互联网中最新相关网页的链接所指内容,最后再通过摆渡式传输设备将采集结果传递到存储设备上,与内网搭建的网络平台进行数据同步,供内网用户直接浏览.在外网抓取信息和内外网数据同步中,都需要对网页提取信息指纹进行对比,防止重复抓取和拷贝.原型采用HashTrie保存信息指纹.进行评测对比后,可知基于HashTrie信息指纹提取比目前专利申请中速度最快的Darts(双数组Trie)结构快2.28倍,还提出了一种新的Hash函数,并且实现了现有12种高速Hash函数以供HashTrie使用,当词典容量大于50万词时,可以采用PJWHash或SuperFastHash函数,而当词典容量为10万词时,可以采用CalcStvCRC32和ELFHash函数.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	沈阳	武汉大学信息管理学院	44	255	9.0	14.0
2	朱婵元	武汉大学计算机学院	2	2	1.0	1.0
3	李舒晨	武汉大学国际软件学院	2	4	1.0	2.0