基于古汉语语料的新词发现方法

• 作者: 刘昱彤 吴斌 王柏 谢韬
• 来源期刊: 中文信息学报
• 学科: 工学
• 关键词: Apriori的改进算法 长短时记忆网络 条件随机场 过滤规则 并行化
• 年，卷（期）: 2019,（1）
• 所属期刊栏目: 语言分析与计算
• 页码范围: 46-55
• 页数: 10页
• 分类号: TP391
• 字数: 8922字
• 语种: 中文

摘要

新词发现,作为自然语言处理的基本任务,是用计算方法研究中国古代文学必不可少的一步.该文提出一种基于古汉语料的新词识别方法,称为AP-LSTM-CRF算法.该算法分为三个步骤.第一步,基于Apache Spark分布式并行计算框架实现的并行化的Apriori改进算法,能够高效地从大规模原始语料中产生候选词集.第二步,用结合循环神经网络和条件随机场的切分概率模型对测试集文档的句子进行切分,产生切分概率的序列.第三步,用结合切分概率的过滤规则从候选词集里过滤掉噪声词,从而筛选出真正的新词.实验结果表明,该新词发现方法能够有效地从大规模古汉语语料中发现新词,在宋词和宋史数据集上分别进行实验,F1值分别达到了89.68％ 和81.13％,与现有方法相比,F1值分别提高了8.66％ 和2.21％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	吴斌	北京邮电大学智能通信软件与多媒体北京市重点实验室	80	1409	15.0	36.0
2	王柏	北京邮电大学智能通信软件与多媒体北京市重点实验室	59	717	14.0	25.0
3	刘昱彤	北京邮电大学智能通信软件与多媒体北京市重点实验室	1	2	1.0	1.0
4	谢韬	北京邮电大学智能通信软件与多媒体北京市重点实验室	1	2	1.0	1.0