基于LDA扩展主题词库的主题爬虫研究

• 作者: 刘柏嵩 费晨杰
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: LDA主题模型 主题爬虫 word2vec 相似度计算
• 年，卷（期）: 2018,（4）
• 所属期刊栏目: 数据工程
• 页码范围: 49-54
• 页数: 6页
• 分类号: TP391.1
• 字数: 5249字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2018.04.009

摘要

主题爬虫的目的在于尽可能准确地获取与特定主题相关的内容.针对主题爬虫主题覆盖率不足和主题相似度计算准确度偏低,提出一种动态主题的主题爬虫框架,对主题关键词进行两重扩展:用同主题的词扩展和词的语义扩展.利用主题爬虫自身主题相关资源收集的功能,不断对语料进行扩充,通过LDA训练得到主题文档来进行主题词库扩展更新.在此基础上,提出一种基于Word2vec词向量表示的改进相似度计算模型,用于页面相似度计算和URL优先级排序.通过在真实新闻数据集上的实验表明,提出的爬虫在主题相关度的判断准确度和主题内容收获率上均有较好表现.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘柏嵩	宁波大学信息科学与工程学院	48	518	13.0	21.0
2	费晨杰	宁波大学信息科学与工程学院	3	12	2.0	3.0