基于规则和N-Gram算法的新词识别研究

• 作者: 姜如霞 段隆振 罗丽娟 黄水源
• 来源期刊: 现代电子技术
• 关键词: 新词识别 N-Gram算法 构词规则 中文分词 碎片库 召回率
• 年，卷（期）: 2019,（4）
• 所属期刊栏目: 前沿交叉科学
• 页码范围: 166-170
• 页数: 5页
• 分类号: TN911-34|TP391
• 语种: 中文
• DOI: 10.16652/j.issn.1004-373x.2019.04.039

摘要

当前的分词工具分词后会出现很多单字碎片,分词之后意义与原意相差甚远.同时因为新词的构词规则具有自由度大的特点,当前分词方法不能有效识别网络中的新词.在ICTCLAS2016分词系统的基础上,结合新词结构制定规则构建碎片库,利用Bi-gram和Tri-gram模式提取碎片库中的候选字串,再采用左右邻接熵进行扩展及过滤,最后提出基于规则和N-Gram算法的新词识别方法.结果表明使用该方法的分词效果准确率、召回率和F值都有所提高.实验结果表明,该新词识别方法能有效构造候选新词集合,提高中文分词效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	段隆振	南昌大学信息工程学院	78	539	11.0	20.0
2	黄水源	南昌大学信息工程学院	26	128	7.0	10.0
3	姜如霞	南昌大学信息工程学院	2	3	1.0	1.0
4	罗丽娟	南昌大学信息工程学院	8	12	2.0	3.0