基于语义相关度主题爬虫的语料采集方法

• 作者: 于碧辉 周昆 王钊
• 来源期刊: 计算机系统应用
• 关键词: 生语料采集 语义相关度主题爬虫 页面信息相关度 URL结构信息
• 年，卷（期）: 2019,（5）
• 所属期刊栏目: 研究开发
• 页码范围: 190-195
• 页数: 6页
• 字数: 5651字
• 语种: 中文
• DOI: 10.15888/j.cnki.csa.006922

摘要

针对特定领域语料采集任务,设计了基于语义相关度主题爬虫的语料采集方法.根据选定的主题词,利用页面描述信息,基于维基百科中文语料训练出的词分布式表示综合HowNet计算页面信息相关度,结合URL的结构信息预测未访问URL链指的页面内容与特定领域的相关程度.实验表明,系统能够有效的采集互联网中的党建领域页面内容作为党建领域生语料,在党建领域网站上的平均准确率达到94.87％,在门户网站上的平均准确率达到64.20％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	于碧辉		17	72	4.0	8.0
5	周昆		1	2	1.0	1.0
9	王钊		1	2	1.0	1.0