基于微博内容的新词发现方法

• 作者: 刘奕群 张敏 霍帅 马少平
• 来源期刊: 模式识别与人工智能
• 学科: 工学
• 关键词: 新词发现 上下文熵 未登录词提取
• 年，卷（期）: 2014,（2）
• 所属期刊栏目: 论文与报告
• 页码范围: 141-145
• 页数: 5页
• 分类号: TP391.1
• 字数: 4527字
• 语种: 中文

摘要

新词发现在自然语言处理领域具有重要意义,在微博内容上的新词发现比在一般语料上更难.文中提出引入词关联性信息的迭代上下文熵算法,并通过上下文关系获取新词候选列表进行过滤.为进一步提高精度,引入自然语言处理中的词法特征,提出与统计特征相结合的过滤方法.与现有方法相比,准确率和召回率均有大幅提高,F-值提高到89.6%.