一种基于大规模语料的新词识别方法

• 作者: 张华平 程学旗 贺敏 龚才春
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 新词 邻接类别 单字成词概率 双字耦合度
• 年，卷（期）: 2007,（21）
• 所属期刊栏目: 数据库与信息处理
• 页码范围: 157-159
• 页数: 3页
• 分类号: TP311
• 字数: 4032字
• 语种: 中文
• DOI: 10.3321/j.issn:1002-8331.2007.21.048

摘要

提出了一种基于大规模语料的新词识别方法,在重复串统计的基础上,结合分析不同串的外部环境和内部构成,依次判断上下文邻接种类,首尾单字位置成词概率以及双字耦合度等语言特征,分别过滤得到新词.通过在不同规模的语料上实验发现,此方法可行有效,能够应用到词典编撰,术语提取等领域.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	程学旗	中国科学院计算技术研究所	160	4858	31.0	67.0
2	张华平	中国科学院计算技术研究所	6	999	4.0	6.0