基于统计和规则的未登录词识别方法研究

• 作者: 周蕾 朱巧明
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 未登录词识别 贪心算法 二元模型 互信息
• 年，卷（期）: 2007,（8）
• 所属期刊栏目: 人工智能及识别技术
• 页码范围: 196-198
• 页数: 3页
• 分类号: TP18
• 字数: 4255字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2007.08.069

摘要

介绍了一种基于统计和规则的未登录词识别方法.该方法分为2个步骤:(1)对文本进行分词,对分词结果中的碎片进行全切分生成临时词典,并利用规则和频度信息给临时词典中的每个字串赋权值,利用贪心算法获得每个碎片的最长路径,从而提取未登录词;(2)在上一步骤的基础上,建立二元模型,并结合互信息来提取由若干个词组合而成的未登录词(组).实验证明该方法开放测试的准确率达到81.25%,召回率达到82.38%.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	朱巧明	苏州大学计算机科学和技术学院	261	2058	25.0	31.0
2	周蕾	常熟理工学院计算机科学与工程系	11	94	3.0	9.0