一种基于海量语料的网络热点新词识别方法

• 作者: 张海军 李勇 闫琪琪
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 海量语料 重复模式 逐层剪枝算法 新词检测 组合特征
• 年，卷（期）: 2015,（5）
• 所属期刊栏目: 信号处理
• 页码范围: 208-213
• 页数: 6页
• 分类号: TP391
• 字数: 7348字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1403-0103

摘要

基于海量语料的热点新词识别是汉语自动处理领域的一项基础性课题，因要求快速处理大规模语料，且在新词检测中需要更多智力因素，在研究中存在较多困难。构建了一个基于海量语料的网络热点新词识别框架，整合了所提出的基于逐层剪枝算法的重复模式提取，基于统计学习模型的新词检测及基于组合特征的新词词性猜测等3个重要算法，用以提高新词识别的处理能力和识别效果。实验和数据分析表明，该框架能高效可靠地从大规模语料中提取重复模式，构造候选新词集合，并能有效实施新词检测和新词属性识别任务，处理效果达到了目前的较好水平。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李勇	新疆师范大学计算机科学技术学院	42	237	10.0	13.0
2	闫琪琪	新疆师范大学计算机科学技术学院	5	21	3.0	4.0
3	张海军	新疆师范大学初等教育学院	23	155	5.0	12.0