面向增量同生主题的维吾尔文爬虫的研究

• 作者: 哈力旦·阿布都热依木 张振东 赵永霄
• 来源期刊: 计算机应用研究
• 关键词: 网络爬虫 网页分类 IC主题模型 锚文本 维吾尔文
• 年，卷（期）: 2014,（11）
• 页码范围: 3269-3272
• 页数: 4页
• 分类号: TP393
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3695.2014.11.017

摘要

针对传统的主题爬虫对网页信息缺乏在知识层面上的处理和理解的问题进行了研究，提出了一种面向增量同生主题的维吾尔文爬虫，通过建立一个增量主题词库优化传统的主题模型，来描述维吾尔文关键词的应用语境及场景，提高了计算网页相关度的准确率。用改进的IC主题敏感算法来预测子页面优先级，过滤无关的网页地址。依据上述方法编写爬虫系统，用构建的维吾尔文语料库进行实验，表明了基于此模型的爬虫具有更好的稳定性和准确度。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	赵永霄	新疆大学电气工程学院	2	10	2.0	2.0
2	哈力旦·阿布都热依木	新疆大学电气工程学院	22	68	6.0	7.0
3	张振东	新疆大学电气工程学院	3	17	2.0	3.0