基于优势率的改进二元特征提取方法

• 作者: 刘燕君 杜一平
• 来源期刊: 计算机系统应用
• 学科: 工学
• 关键词: 特征提取 优势率 主题网络爬虫 频度 分散度
• 年，卷（期）: 2010,（2）
• 所属期刊栏目: 研究开发
• 页码范围: 106-109,105
• 页数: 5页
• 分类号: TP3
• 字数: 4641字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-3254.2010.02.025

摘要

主题网络爬虫研究中一个重要问题是文本特征的提取,其好坏会直接影响主题特征的提取及网页的相关性计算.在研究了文本分类特征提取方法的基础上,分析优势率特征提取方法的优缺点,把频度、分散度作为判断要素加以考虑,提出一种改进的二元分类特征选择方法EOR,并使用得到的EOR值结合词频TF即TF-EOR来计算文档特征词的权重,应用于主题网络爬虫.仿真实验证明,EOR在中低维数下能提升文档分类准确率达5%,而TF-EOR权重计算方法好于TF-IDF方法,实验中提高了网络爬虫的抓取准确率和查全率达4%.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘燕君	中国科学技术大学计算机科学与技术学院	9	55	5.0	7.0
2	杜一平	中国科学技术大学计算机科学与技术学院	1	6	1.0	1.0