基于爬虫技术和语义分析的网络舆情采集系统设计

• 作者: 赵瑞丹 朱旭
• 来源期刊: 电子设计工程
• 关键词: 网络爬虫 广度优先搜索 语义分析 向量空间模型 舆情采集
• 年，卷（期）: 2021,（14）
• 所属期刊栏目: 计算机技术与应用|Computer Technology Application
• 页码范围: 56-60
• 页数: 5页
• 分类号: TP391.3
• 语种: 中文
• DOI: 10.14022/j.issn1674-6236.2021.14.013

摘要

为满足当前高校学生舆情监督的工作需要,针对传统网络舆情采集系统的舆情信息采集效率低下、质量差等问题,设计和开发了一套基于爬虫技术与语义分析的网络舆情采集系统.该系统通过主题网络爬虫对互联网上感兴趣的资源数据进行爬取,同时利用语义分析中的向量空间模型(VSM)算法对采集到的网页数据进行进一步过滤,充分保证所采集到的舆情数据的质量.系统的各项性能试验测试结果表明,文中所设计的系统能够按照用户需求在保证效率和质量的情况下,较好地完成互联网舆情信息采集,验证了系统的可行性.