基于Spark和DN-gram模型的定义抽取研究

• 作者: 于洁
• 来源期刊: 北京信息科技大学学报（自然科学版）
• 学科: 工学
• 关键词: 知识发现 文本分类 定义抽取 Spark DN-gram
• 年，卷（期）: 2017,（4）
• 页码范围: 64-68,74
• 页数: 6页
• 分类号: TP391
• 字数: 5262字
• 语种: 中文
• DOI: 10.16508/j.cnki.11-5866/n.2017.04.013

摘要

从互联网海量文本中抽取出词语的定义对知识库的自动构建具有重要意义.针对定义抽取研究中N-gram语言模型携带的语义信息有限、容易产生大量稀疏数据的问题,提出了一种DN-gram语言模型.在N-gram基础上融入上下文词语间的语法依赖关系,能表达更为丰富的语言学特征;采用词形和词性的组合代替只用词形的特征选取方法来降低稀疏数据的影响;引入TF-IDF定义隶属度进行特征降维;在Spark大数据平台下采用并行定义抽取管道将互联网文本转换成特征向量,使用随机森林分类器进行学习和训练,在实验中取得了较好效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	于洁	福建信息职业技术学院计算机工程系	7	11	2.0	3.0