基于Spark框架XGBoost的林业文本并行分类方法研究

• 作者: 崔晓晖 师栋瑜 许福 陈志泊
• 来源期刊: 农业机械学报
• 学科: 工学
• 关键词: 林业文本 文本分类 大数据分析 Spark XGBoost
• 年，卷（期）: 2019,（6）
• 所属期刊栏目: 农业信息化工程
• 页码范围: 280-287
• 页数: 8页
• 分类号: TP391.1
• 字数: 7024字
• 语种: 中文
• DOI: 10.6041/j.issn.1000-1298.2019.06.032

摘要

针对当前“互联网+”技术与林业的交叉融合,涌现出海量待挖掘的涉林文本,而林业文本分类的相关研究尚不成熟的问题,使用网络爬虫技术面向互联网采集涉林文本,基于丰富的语料重新构建分类标签,提出基于Spark计算框架的XGBoost并行化方法,对林业文本进行分类.经由交叉验证,构建的XGBoost并行分类算法准确率为0.923 4,在各类别中最低F1为0.860 4,最高为0.998 4;其在2.1万条、4.2万条、8.4万条数据集上的训练加速比分别为2.13、3.47、3.82.结果 表明,基于该标签设定的分类模型对现存互联网中涉林文本的适应性较好;Spark环境下实现的XGBoost并行化算法的准确率显著优于其他4种机器学习(朴素贝叶斯、GBDT决策树、BP神经网络和ELM神经网络算法)的并行化算法,算法执行效率远高于单机版本,且数据量越大,其加速比越高,能有效应对海量林业文本的实时、准确分类.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈志泊	北京林业大学信息学院	74	503	11.0	18.0
2	许福	北京林业大学信息学院	13	26	3.0	4.0
3	崔晓晖	北京林业大学信息学院	12	35	4.0	5.0
4	师栋瑜	北京林业大学信息学院	1	3	1.0	1.0