面向大数据短文本的高并发语种识别系统的设计与实现

• 作者: 伊克拉木·伊力哈木 王路路 艾山·吾买尔 麦麦提依明·巴吾顿
• 来源期刊: 现代计算机
• 关键词: 大数据 高并发 语种识别 N-Gram 朴素贝叶斯 uWSGI Nginx Django
• 年，卷（期）: 2020,（20）
• 所属期刊栏目: 研究与开发
• 页码范围: 7-13
• 页数: 7页
• 字数: 4311字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-1423.2020.20.002

摘要

在如今大数据环境中包含大量不同语种的网络短文本数据,尤其是在国内多民族地区的网络环境中多种语言混杂的情况普遍存在.为了解决此类易混淆短文本的识别问题,设计一种基于编码区间判断,特征字符检测和基于N-Gram的朴素贝叶斯分类器相结合的多策略方法,并在此基础上设计一套结合Nginx、uWSGI和Django的语种识别系统,提升系统的高并发能力.实验结果表明,该系统能高效识别网络中各类易混淆短文本的所属语种信息.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	艾山·吾买尔	新疆大学信息科学与工程学院	66	292	10.0	14.0
5	王路路	新疆大学信息科学与工程学院	6	6	2.0	2.0
9	伊克拉木·伊力哈木	新疆大学信息科学与工程学院	1	0	0.0	0.0
13	麦麦提依明·巴吾顿	中科软科技股份有限公司信息工程八部	1	0	0.0	0.0