基于Heritrix聚焦爬虫的特定语料采集系统设计

• 作者: 何洋 潘光强
• 来源期刊: 中国电子商情·通信市场
• 学科: 工学
• 关键词: Heritrix 语料聚焦爬虫 APHash算法 Tika
• 年，卷（期）: 2013,（6）
• 所属期刊栏目: CTC2013全国通信新理论与新技术学术大会优秀论文集
• 页码范围: 127-132
• 页数: 6页
• 分类号: TP393.08
• 字数: 1559字
• 语种: 中文

摘要

目前,语料在各项研究中发挥着重要作用,现在的语料采集方法还不能满足需要.本文提出了一种新的语料采集方法,可以准确迅速的采集特定领域语料.通过修改Heritrix开源爬虫的组件,引入了APHash算法,解决爬虫队列平均分配问题,提高了采集效率,并通过加入URL判断条件,实现了特定领域语料的采集.对采集内容使用开用工具Tika进行解析,通过大规模采集,可以形成语料库,实现了特定语料的采集.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	何洋	国防科技大学计算机学院	2	4	1.0	2.0
2	潘光强	国防科技大学计算机学院	1	0	0.0	0.0