基于TF-IDF和改进BP神经网络的社交平台垃圾文本过滤

• 作者: 张舒宜 王杨 王非凡 许闪闪 赵传信 赵晨曦 黄少芬
• 来源期刊: 计算机系统应用
• 关键词: TF-IDF 改进BP神经网络 结巴分词 垃圾文本过滤
• 年，卷（期）: 2019,（3）
• 所属期刊栏目: 软件技术·算法
• 页码范围: 126-132
• 页数: 7页
• 字数: 5179字
• 语种: 中文
• DOI: 10.15888/j.cnki.csa.006828

摘要

近年来,随着生活节奏的提高和互联网的迅速发展,人们更倾向于在众多社交平台上用短文本进行交流,进而可能有人通过发布垃圾文本妨碍人们的正常社交,扰乱网络的绿色环境.为了解决这个问题,我们提出了基于TF-IDF和改进BP神经网络的社交平台垃圾文本检测的方法.通过该方法,实现对社交平台上的垃圾文本过滤.首先,通过结巴分词和去停分词构造关键词数据集;其次,对文本表示的关键词向量运用计算各关键词的权重从而对文本向量进行降维,得到特征向量;最后,在此基础上,运用BP神经网络分类器对短文本进行分类,检测出垃圾文本并进行过滤.实验结果表明用该方法在1000维文本特征向量的情况下分类平均准确率达到了97.720％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	赵传信	安徽师范大学计算机与信息学院	47	219	8.0	13.0
2	王杨	安徽师范大学计算机与信息学院	65	291	9.0	14.0
3	黄少芬	安徽师范大学计算机与信息学院	8	25	3.0	5.0
4	赵晨曦	安徽师范大学计算机与信息学院	6	14	2.0	3.0
5	许闪闪	安徽师范大学计算机与信息学院	7	16	2.0	4.0
6	王非凡	安徽师范大学计算机与信息学院	1	12	1.0	1.0
7	张舒宜	安徽师范大学计算机与信息学院	2	12	1.0	2.0