基于jieba中文分词的中文文本语料预处理模块实现

• 作者: 石凤贵
• 来源期刊: 电脑知识与技术:学术版
• 学科: 工学
• 关键词: 文本分词 文本预处理 去停用词
• 年，卷（期）: 2020,（14）
• 页码范围: 248-251
• 页数: 4页
• 分类号: TP181

摘要

文本预处理是文本分析理解的基础,预处理结果可以直接影响到文本分析的准确率。中文文本语句结构复杂,词语之间没有明显的分隔标记,需要进行分词来理解语句。分词是文本预处理的基础,词的切分准确性影响文本预处理结果。本文分词采用jieba中文分词工具,实现了文本预处理模块。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	石凤贵	马鞍山师范高等专科学校软件工程系	23	11	2.0	3.0