多语种网络文本快速新词抽取

• 作者: 刘倩 刘冰洋 刘欣然 张瑾 程学旗
• 来源期刊: 中文信息学报
• 学科: 工学
• 关键词: 新词 邻接类别 字符串整体度 后缀树 多语言
• 年，卷（期）: 2014,（2）
• 所属期刊栏目: 信息提取和文本挖掘
• 页码范围: 78-84
• 页数: 7页
• 分类号: TP391
• 字数: 6202字
• 语种: 中文

摘要

从网络文本中提取新词是网络信息处理中的一个重要问题,在信息检索、文本挖掘、词典编纂、中文分词等领域中都有重要应用.本文提出了一种与语言无关的快速新词提取算法,首先针对后缀树的数据结构将多语言文本进行统一编码,然后使用改进的统计方法在双后缀树上以线性时间统计重复串与邻接类别,并计算字符串的整体度,同时通过剪枝大幅度减少计算量,在中、英文语料上较好地实现了新词的抽取及排序.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	程学旗	中国科学院计算技术研究所网络数据科学与工程研究中心	160	4858	31.0	67.0
2	张瑾	中国科学院计算技术研究所网络数据科学与工程研究中心	30	330	11.0	17.0
3	刘倩	中国科学院计算技术研究所网络数据科学与工程研究中心	52	218	9.0	13.0
7	刘欣然		21	359	8.0	18.0
8	刘冰洋	中国科学院计算技术研究所网络数据科学与工程研究中心	2	9	2.0	2.0