一种新词检测方法研究

• 作者: 耿升华 董高峰 钟将
• 来源期刊: 数字通信
• 学科: 工学
• 关键词: 新词 互信息 信息熵 词频 垃圾串
• 年，卷（期）: 2013,（2）
• 所属期刊栏目: 专题策划(智能信息技术专题)
• 页码范围: 1-5,23
• 页数: 6页
• 分类号: TP391.1
• 字数: 5308字
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3824.2013.02.001

摘要

汉语自动分词是进行中文信息处理的基础.目前,困扰汉语自动分词的一个主要难题就是新词自动识别,尤其是非专名新词的自动识别.同时,新词自动识别对于汉语词典的编纂也有着极为重要的意义.提出一种新的未登录词识别方法,该方法混合了互信息、信息熵及词频等3个评价指标评价新词,并在此基础上添加了垃圾串过滤机制,大幅度提高了新词识别准确率和召回率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	钟将	重庆大学计算机学院	63	631	14.0	23.0
2	耿升华	重庆大学计算机学院	3	11	1.0	3.0
3	董高峰	重庆大学计算机学院	2	10	1.0	2.0