基于ICE-LDA模型的中英文跨语言话题发现研究

• 作者: 王文贤 王海舟 罗梁 陈兴蜀 高悦
• 来源期刊: 工程科学与技术
• 学科: 工学
• 关键词: 话题发现 跨英汉文本 ICE-LDA模型 TF-IDF特征提取 共现话题
• 年，卷（期）: 2017,（2）
• 所属期刊栏目: 第十届中国可信计算与信息安全学术会议(CTCIS 2016)推荐论文
• 页码范围: 100-106
• 页数: 7页
• 分类号: TP391
• 字数: 6069字
• 语种: 中文
• DOI: 10.15961/j.jsuese.201601032

摘要

近年来互联网在全球化的大背景下飞速发展,针对跨语言的网络数据挖掘成为国内外舆情分析的热点问题,有效实时地检测中英文网络环境下的热点话题对舆情的掌握和舆情的发展有着至关重要的作用.网络新闻作为网络信息舆情中的重要组成部分,由于互联网的大规模普及而成为人们方便快捷获知信息的重要来源.首先,本文选择中文与英文的网络新闻作为数据源进行采集,提出了在LDA模型上改进的ICE-LDA模型进行跨英汉语言网络环境下的共现话题发现.采用话题向量化的方式,对建模产生的话题进行JS距离检测和话题文本分布相似度度量.其次,本文分别对爬虫采集到的中英混合新闻数据分别构建可对比平行语料集和非可对比语料集进行话题建模,在建模过程中利用TF-IDF算法对文档提取特征词去噪,提高话题特征表示去除无意义噪音词.最后,分别采用两种不同的话题向量化方式进行跨语言的共现话题发现建模.实验结果表明,在本文设计的爬虫采集构建的真实数据集上,改进后的话题模型不仅能够在不需要先验话题对的情况下对可对比语料集进行跨语言共现话题进行发现,而且能够对语料不平衡的情况进行共现话题发现.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈兴蜀	四川大学网络空间安全研究院	117	695	14.0	21.0
5	王文贤	四川大学网络空间安全研究院	60	732	13.0	25.0
9	王海舟	四川大学网络空间安全研究院	30	137	6.0	10.0
13	罗梁	四川大学计算机学院	3	17	3.0	3.0
14	高悦	四川大学计算机学院	3	17	2.0	3.0