基于Python语言的中文分词技术的研究

• 作者: 祝永志 荆静
• 来源期刊: 通信技术
• 学科: 工学
• 关键词: python 文本分词 jieba 词云 数据可视化
• 年，卷（期）: 2019,（7）
• 所属期刊栏目: 信息处理与传输
• 页码范围: 1612-1619
• 页数: 8页
• 分类号: TP312
• 字数: 5708字
• 语种: 中文
• DOI: 10.3969/j.issn.1002-0802.2019.07.012

摘要

Python作为一种解释性高级编程语言,已经深入大数据、人工智能等热门领域.Python在数据科学领域具有广泛的应用,比如Python爬虫、数据挖掘等等.将连续的字序列划分为具有一定规范的词序列的过程称为分词.在英文中,空格是单词间的分界符,然而中文比较复杂.一般来说对字、句子和段落的划分比较简单,但中文中词的划分没有明显的标志,所以对中文文本进行分词的难度较大.运用Python爬虫对网页数据进行抓取作为实验文本数据,使用python强大的分词库jieba对中文文本进行分词处理.对分词结果分别采用TF-IDF算法和TextRank算法进行提取关键词,实验结果明显优于基于词频的分词算法.最后采用词云的方式对关键词进行展现,使得分词结果一目了然.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	祝永志	曲阜师范大学信息科学与工程学院	77	392	10.0	16.0
2	荆静	曲阜师范大学信息科学与工程学院	3	13	1.0	3.0