基于n-gram频率的语种识别改进方法

• 作者: 徐博 殷绪成 王方圆 郝洺
• 来源期刊: 自动化学报
• 关键词: 语种识别 短文本 n-gram频率 鲁棒性
• 年，卷（期）: 2018,（3）
• 所属期刊栏目: 论文与报告
• 页码范围: 453-460
• 页数: 8页
• 字数: 5555字
• 语种: 中文
• DOI: 10.16383/j.aas.2018.c160806

摘要

识别短文本的语言种类是社交媒体中自然语言处理的重要前提,也是一个挑战性热点课题.由于存在集外词和不同语种相同词汇干扰的问题,传统基于n-gram的短文本语种识别方法(如Textcat、LIGA、logLIGA等)识别效果在不同的数据集上相差甚远,鲁棒性较差.本文提出了一种基于n-gram频率语种识别改进方法,根据训练数据不同特性,自动确定语言中特征词和共有词的权重,增强语种识别模型在不同数据集上的鲁棒性.实验结果证明了该方法的有效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	殷绪成	北京科技大学计算机与通信工程学院	9	92	5.0	9.0
2	徐博	中国科学院自动化研究所数字内容技术与服务研究中心	9	18	3.0	4.0
3	郝洺	北京科技大学计算机与通信工程学院	1	8	1.0	1.0
4	王方圆	中国科学院自动化研究所数字内容技术与服务研究中心	1	8	1.0	1.0