一种基于统计的地质专业词语识别方法

• 作者: 乔东玉 曾涛 朱学立 王宏 郭甲腾
• 来源期刊: 软件导刊
• 学科: 工学
• 关键词: 地质文本 中文分词 质串 重复串 上下文邻接 位置成词概率
• 年，卷（期）: 2020,（4）
• 所属期刊栏目: 数据库与信息处理
• 页码范围: 211-218
• 页数: 8页
• 分类号: TP391
• 字数: 10787字
• 语种: 中文
• DOI: 10.11907/rjdk.191648

摘要

中文分词是地质大数据智能化知识挖掘难以回避的第一道基本工序.基于统计的分词方法受语料影响,跨领域适应性较差.基于词典的分词方法可以直接利用领域词典进行分词,但不能解决未登录词识别问题.在领域语料不足的情况下,为提高地质文本分词的准确率和未登录词识别率,提出一种基于统计的中文地质词语识别方法.该方法基于质串思想构建了地质基本词典库,用以改善统计分词方法在地质文本分词上的适应性.采用重复串查找方法得到地质词语候选集,并使用上下文邻接以及基于位置成词的概率词典,对地质词语候选集进行过滤,最终实现地质词语识别.实验结果表明,使用该方法对地质专业词语识别准确率达到81.6％,比通用统计分词方法提高了近60％.该方法能够识别地质文本中的未登录词,并保证地质分词的准确率,可以应用到地质文本分词工作中.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	郭甲腾	东北大学资源与土木工程学院	27	255	10.0	15.0
2	朱学立		6	6	1.0	2.0
4	曾涛		5	3	1.0	1.0
6	王宏		2	6	1.0	2.0
14	乔东玉		1	0	0.0	0.0