基于隐含狄利克雷分布的多语种文本的自动检测研究

• 作者: 张巍 李增杰 李雯 陈丹
• 来源期刊: 中国海洋大学学报（自然科学版）
• 学科: 工学
• 关键词: 多语种识别 无监督 潜在狄利克莱分配 最小描述长度 Collapsed Gibbs抽样
• 年，卷（期）: 2017,（12）
• 所属期刊栏目: 研究论文
• 页码范围: 130-136
• 页数: 7页
• 分类号: TP391
• 字数: 7305字
• 语种: 中文
• DOI: 10.16441/j.cnki.hdxb.20150211

摘要

本文提出无监督的基于隐含狄利克雷分布(LDA)的潜在语义模型来处理多语种混合文本的语种鉴别问题.区别于一般的依据困惑度对模型进行筛选的方法,本文介绍一种基于最小描述长度(MDL)的新方法,用collapsed Gibbs Sampling(CGS)学习算法来训练得到相应的LDA模型.本文采用mithm工具包生成Ngram计数文件并构建了用于多语种识别的字符级语言模型.之后本文使用了3种不同的语种鉴别系统与LDA模型做对比实验.实验选取ECI/MCI标准数据库中9种欧洲系语言进行鉴别实验,在没有任何标注的情况下,实现了较好的准确率和召回率结果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李雯	中国海洋大学信息科学与工程学院	6	2	1.0	1.0
2	张巍	中国海洋大学信息科学与工程学院	16	62	5.0	7.0
3	陈丹	中国海洋大学信息科学与工程学院	5	3	1.0	1.0
4	李增杰	中国海洋大学信息科学与工程学院	1	0	0.0	0.0