基于迭代算法的新词识别

• 作者: 张华平 赵小宝
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 对偶原理 新词识别 迭代算法 信息熵 重复模式 中文词语搭配库
• 年，卷（期）: 2014,（7）
• 所属期刊栏目: 人工智能及识别技术
• 页码范围: 162-167
• 页数: 6页
• 分类号: TP18
• 字数: 5482字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2014.07.032

摘要

新词识别是中文信息处理的重要基础，但中文字符极强的构词能力给新词检测带来较大困难。受对偶原理的启发，提出一种基于迭代算法的新词识别算法。对目标语料进行分词和词性标注，通过两遍扫描进行字符串统计并提取重复模式。结合词语结构的特征，迭代使用重复模式互信息、左(右)熵，左(右)邻右(左)平均熵等特征进行新词识别，获得候选新词列表。利用中文词语搭配库对候选新词列表进行最后一次过滤得到最终新词列表。实验结果表明，利用该方法进行新词识别，P@10值达到100%，P@100值提高至90%，左(右)邻右(左)平均熵可在一定程度上提高新词识别的准确率。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张华平	北京理工大学计算机学院	16	98	7.0	9.0
2	赵小宝	北京理工大学计算机学院	1	13	1.0	1.0