一种解决命名实体识别数据集类别标记失衡的方法

• 作者: 何祥 刘嘉勇 许丽丹
• 来源期刊: 四川大学学报（自然科学版）
• 学科: 工学
• 关键词: 命名实体识别 类别失衡 数据合成 统计学习模型 遗传算法
• 年，卷（期）: 2020,（1）
• 所属期刊栏目: 电子信息科学
• 页码范围: 82-88
• 页数: 7页
• 分类号: TP391
• 字数: 4768字
• 语种: 中文
• DOI: 10.3969/j.issn.0490-6756.2020.01.011

摘要

命名实体识别研究中常见的公开数据集普遍存在数据类别标记不平衡的问题,限制了基于统计学习模型方法性能的进一步提高.针对上述问题,提出了基于遗传算法的数据类别标记平衡方法.该方法基于原始数据集中已有的标记数据,通过修改遗传算法中的指标适应度函数和基因组合规则,合成类别分布均衡的文本用以扩充原始数据集,降低标记数据不平衡性从而改善命名实体识别的效果.为验证该方法的有效性,采用Bi-LSTM-CRF模型分别基于CoNLL 2003及JNLPBA 数据集设计了该方法与平衡欠采样、随机过采样方法的对比实验.从实验中发现,提出的方法在 CoNLL2003 数据集上模型召回率提高 3.26％,F1 值提高1.70％;在JNLPBA数据集上召回率提高2.44％,F1 值提高1.03％.实验结果表明,提出的方法能够有效地缓解类别标记失衡问题达到提高命名实体识别效果的目的.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘嘉勇	四川大学网络空间安全学院	168	1031	16.0	22.0
2	何祥	四川大学电子信息学院	8	17	2.0	3.0
3	许丽丹	四川大学网络空间安全学院	1	0	0.0	0.0