一种主题爬虫文本分类器的构建

• 作者: 姜鹏 宋继华
• 来源期刊: 中文信息学报
• 学科: 工学
• 关键词: DF CHI统计量 分类器 主题爬取
• 年，卷（期）: 2010,（6）
• 页码范围: 92-96
• 分类号: TP391
• 字数: 4298字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-0077.2010.06.015

摘要

该文利用DF与CHI统计量相结合的特征选取方法,针对互联网上对外汉语相关领域的网页进行特征提取,并在此基础上,构建了基于标题与正文相结合的两步式主题相关度判定分类器.基于该分类器做对外汉语相关主题的网页爬取工作,实验表明,效率和召回率比传统分类器都有较大程度的提高,目前该分类器已经用于为大型对外汉语语料库构建提供数据源.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	宋继华	北京师范大学信息科学与技术学院	57	461	11.0	18.0
2	姜鹏	北京师范大学信息科学与技术学院	1	7	1.0	1.0