基于短语的柬汉双语LDA主题模型

• 作者: 严馨 周枫 徐广义 诺宇 谢庆 郭剑毅
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: 柬汉双语 短语 主题模型
• 年，卷（期）: 2019,（8）
• 所属期刊栏目: 人工智能与数据挖掘
• 页码范围: 1497-1503
• 页数: 7页
• 分类号: TP391.1
• 字数: 5754字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2019.08.022

摘要

为了有效地获取双语文档的主题分布,提出了一种基于短语的柬汉双语LDA主题模型.修改了传统LDA主题模型中的词袋模型,融入短语(N-gram)的概念,能够在主题预测过程中考虑文章的词序以及上下文,并将之应用于可比语料的双语环境中.本模型基于一个3层贝叶斯网络模型,在此框架下,首先搜集中文和柬埔寨语的可比语料,每一对双语可比语料文档共享一个相同的主题分布,之后引入发现主题以及主题短语的主题模型:对每个单词,首先进行主题抽样,然后将其状态作为短语进行采样,最后对来自特定主题短语分布的单词进行采样.通过实验结果可知,基于短语的双语LDA主题模型比一般的双语LDA模型更能抓住文章的主题,且有更好的主题预测能力.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	严馨	昆明理工大学信息工程与自动化学院	40	122	5.0	10.0
2	郭剑毅	昆明理工大学信息工程与自动化学院	76	794	12.0	27.0
3	周枫	昆明理工大学信息工程与自动化学院	41	74	5.0	7.0
4	徐广义		5	1	1.0	1.0
5	谢庆	昆明理工大学信息工程与自动化学院	1	0	0.0	0.0
6	诺宇	昆明理工大学信息工程与自动化学院	1	0	0.0	0.0