基于无监督方法的电力文本专业词汇识别研究

• 作者: 朱婷婷 杜一帆 李睿凡 熊永平
• 来源期刊: 电力工程技术
• 关键词: 领域词典 无监督学习 新词识别 滑动窗口 统计特征
• 年，卷（期）: 2020,（6）
• 所属期刊栏目: 智能电网技术|Smart Grid Technologies
• 页码范围: 159-165
• 页数: 7页
• 分类号: TM930.9|TP391
• 语种: 中文
• DOI: 10.12158/j.2096-3203.2020.06.023

摘要

电力专业词汇识别是面向变电运检文档进行深入语言理解和知识图谱构建等智能应用的基础.领域无关识别方法的效果不能令人满意,为此文中根据电力领域词汇的语言学特征提出一种面向电力领域的无监督专业词汇发现方法.首先以通用词典对电力文档语料分词,然后根据电力专业词汇的特征设置不同大小的滑动窗口,将之前分词结果的多种组合作为候选词;进一步计算邻接变化度、信息熵、点态互信息以及词频等4种候选词统计量;最后基于综合语言学特征和成词边界3种语法规则对候选词进行筛选形成专业电力新词.在公开数据集上与基线方法进行了对比实验,实验结果验证了文中提出方法的有效性.