基于CSS模板的职位信息并行抽取系统设计

• 作者: 王丹 薛安荣 黄祖卫
• 来源期刊: 电子科技
• 学科: 工学
• 关键词: 信息抽取 MapReduce CSS模板 MD5算法 分布式数据库HBase
• 年，卷（期）: 2016,（10）
• 所属期刊栏目: 协议·算法及仿真
• 页码范围: 93-96
• 页数: 4页
• 分类号: TP391
• 字数: 3290字
• 语种: 中文
• DOI: 10.16180/j.cnki.issn1007-7820.2016.10.026

摘要

针对现有职位信息抽取方法由于缺乏自适应性和并行性,存在冗余度高和抽取效率低的问题,提出了基于CSS模板的方式并行职位信息抽取方法.该方法根据职位信息页面特点使用CSS路径抽取方法,并制定抽取模板解决抽取的准确性和自适应性,使用了MapReduce编程模型实现职位信息的并行化抽取.使用MD5算法计算已抽取得到的职位信息的MD5值,结合MapReduce并行计算编程模型的特性实现职位信息去重,最终将去重后的职位信息存储在分布式数据库HBase.实验测试结果表明,并行计算与传统的非并行编程模型相比在处理的时间效率和采集的职位信息量上都有明显的提高.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王丹	江苏大学计算机科学与通信工程学院	24	37	4.0	5.0
2	薛安荣	江苏大学计算机科学与通信工程学院	45	665	13.0	25.0
3	黄祖卫	江苏大学计算机科学与通信工程学院	2	7	2.0	2.0