基于统计的中文分词算法研究

• 作者: 文汉云 王同喜 邹佳伦
• 来源期刊: 电脑知识与技术:学术版
• 学科: 工学
• 关键词: 中文分词 隐马尔科夫模型 路径优化问题 维特比算法
• 年，卷（期）: 2019,（2）
• 页码范围: 149-150
• 页数: 2页
• 分类号: TP311

摘要

最近几年大数据、人工智能的迅猛发展,对数据的采集、加工、挖掘也得到了长足的发展,信息的价值逐渐凸显,智能推荐、语音识别等高价值的信息处理越来越多的改变生活。如何从互联网上中文网页内容提取出有效的识别、提取出有价值的信息是当今信息研究的重要课程。中文分词作为中文文本处理的重要组成部分,本文作者在对当前分词的基本问题,以及主要分词方法的优缺点进行思考和分析的基础上,重点分析了基于统计的分词方法,分析了基于统计的分词器的设计理念与算法思想。文中涉及中文分词的难点分析,隐含马尔科夫模型的处理,维特比路径优化算法。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	文汉云		38	209	7.0	14.0
2	王同喜		26	42	4.0	5.0
3	邹佳伦		4	7	2.0	2.0