基于分类关键词词频模型的地缘政治主题爬虫设计

• 作者: 欧小平 胡丹露 郝晨光 魏勇
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 主题爬虫 分类关键词词频模型 词向量 支持向量机 相关度
• 年，卷（期）: 2016,（2）
• 所属期刊栏目: 软件技术与数据库
• 页码范围: 45-50
• 页数: 6页
• 分类号: TP393
• 字数: 6194字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2016.02.008

摘要

针对词频-逆文档频率模型应用于主题爬虫时存在的非结构化问题,设计基于分类关键词词频(CKTF)模型的主题爬虫.利用网页文档结构特征和主题词语的分布信息将网页映射为五维向量,根据维基百科中文语料库和搜狗全网新闻数据语料库选择关键词并计算其与地缘政治主题的相关度,使用支持向量机实现网页向量的学习和分类.实验结果表明,与传统主题爬虫相比,该主题爬虫能够挖掘地缘政治主题中的丰富内容,有效衡量网页与主题的相关度,具有较高的爬准率和稳定性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	魏勇	信息工程大学地理空间信息学院	13	38	4.0	6.0
5	胡丹露		2	10	2.0	2.0
6	郝晨光		1	7	1.0	1.0
7	欧小平		1	7	1.0	1.0