工程地质勘察文本的分类研究

• 作者: 吴宇 唐朝国 孟捷 朱泳标 解波
• 来源期刊: 统计学与应用
• 学科: 工学
• 关键词: 文本自动分类 自然语言处理 特征降维
• 年，卷（期）: 2019,（4）
• 页码范围: 589-597
• 页数: 9页
• 分类号: TP39

摘要

伴随着信息技术的不断发展,电子文本信息日益增多,文本自动分类作为处理海量文本信息,方便用户准确搜索所需信息的关键技术,其应用十分广泛。本文从提高分类准确率的角度出发,以《铁路工程地质勘察规范》(TB1002-2007)的电子文本文档为训练标准,运用自然语言处理的分词原理对文本文档进行计算机与人工结合分词,然后针对文本文档的分词结果进行特征降维技术处理,对词条计算词频后,根据词频大小筛选出词频较高的词语作为最终的地质勘察语料库,该语料库包含了地质专业相关术语。最后利用机器学习对分词后的文本文档进行自动分类,在对比多种分类算法的分类结果后,本文发现针对地质勘探数据类别不平衡性,选择K近邻分类器对文本文档分类的效果较为理想。