基于上下文词频词汇量指标的新词发现方法

• 作者: 赵富强 邢恩军
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 新词发现 上下文信息熵 词频词汇量指标
• 年，卷（期）: 2016,（6）
• 所属期刊栏目: 应用技术与研究
• 页码范围: 64-67
• 页数: 4页
• 分类号: TP391.1
• 字数: 4072字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2016.06.016

摘要

提出一种基于上下文词频词汇量的统计指标。该指标通过修改信息熵公式中参数的定义，即将邻接字符串在语料集中出现的次数改成邻接字符串集合的大小，克服了左右信息熵在识别新词时特征不够明显的缺点。同时提出一种递归的基于邻接关系的字符串连接方法，克服了N-gram方法采用固定滑动窗口大小的缺点。实证分析表明该新词发现方法有较高的准确率，通过选取不同的词频词汇量指标值作为阈值，能够在发现更多新词和提高发现新词的准确率方面进行灵活调整，为新词发现提供一种实用的方法。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	邢恩军	天津大学管理与经济学部	4	17	2.0	4.0
3	赵富强	天津财经大学信息科学与技术系	18	159	6.0	12.0