脏话文本语料库建设

• 作者: 朱晓旭 钱培德
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 脏话文本 语料库 文本分类 自动识别
• 年，卷（期）: 2014,（11）
• 所属期刊栏目: 网络、通信、安全
• 页码范围: 126-129
• 页数: 4页
• 分类号: TP391
• 字数: 3552字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1302-0127

摘要

脏话作为一种非正规的语言现象，在网络评价中已经无处不在，对网络文明造成了影响。描述了脏话文本的特点、定义及其危害，并对网络脏话文本进行了研究与分析，设计了一个机器自动判别与少量人工标注相结合的脏话语料采集方法，借助海量的真实评价文本，构造了一个较大规模的高质量的脏话语料库，初步采集了6000多句脏话语料。然后利用一元、二元和三元特征，通过SVM与最大熵分类器对脏话的自动分类进行了实验，结果表明，两种分类器的准确率和查全率都达到97%以上。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	钱培德	苏州大学计算机科学与技术学院	77	844	16.0	25.0
2	朱晓旭	苏州大学计算机科学与技术学院	9	68	5.0	8.0