基于NB和CHI值的农业文本分类方法

• 作者: 周云成 许童羽 邓寒冰
• 来源期刊: 江苏农业科学
• 学科: 农学
• 关键词: 文本分类 农业文本 朴素贝叶斯 CHI值 特征词选取 标题 网页文本分类
• 年，卷（期）: 2018,（17）
• 所属期刊栏目: 农业工程与信息技术
• 页码范围: 219-223
• 页数: 5页
• 分类号: TP311.1|S126
• 字数: 6620字
• 语种: 中文
• DOI: 10.15889/j.issn.1002-1302.2018.17.059

摘要

对采集自网络的农业文本进行自动化分类是进一步利用的前提.拟提出1种结合朴素贝叶斯(naive Bayes,简称NB)和χ2(Chi-square,简称CHI)特征词选取的农业文本分类方法,并用Python语言实现相应的文本分类程序和特征词选择程序.通过从农业信息网站获取已经过良好分类的文档,并对其进行净化、分词等预处理,构建含有4种文本的农业语料库.针对特征词选择数量、训练样本数等对分类识别率的影响及用标题进行网页文本分类的可行性问题开展研究.结果表明,文本分类的正确率主要由CHI值较高的少量特征词条决定,但是按CHI值降序增加特征词条的数量不会对文本识别率造成负面影响;训练样本数量对文本分类的正确率具有一定影响,为了达到较高的识别率,训练样本需要达到一定的数量,然后持续增加样本量,对识别率没有明显贡献;利用网页标题对采集自网络的农业文本进行分类是可行的.通过结合朴素贝叶斯和基于CHI值的特征词选取方法能够很好地对农业文本进行分类,识别率较高.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	周云成	沈阳农业大学信息与电气工程学院	36	324	10.0	17.0
2	许童羽	沈阳农业大学信息与电气工程学院	118	718	16.0	21.0
3	邓寒冰	沈阳农业大学信息与电气工程学院	13	84	4.0	9.0