大规模词序列中基于频繁词集的特征短语抽取模型

• 作者: 余琴琴 刘丛 彭敦陆
• 来源期刊: 小型微型计算机系统
• 学科: 工学
• 关键词: MapReduce 词序列 加权关联规则 频繁词集 特征短语
• 年，卷（期）: 2018,（5）
• 所属期刊栏目: 人工智能与算法研究
• 页码范围: 1027-1032
• 页数: 6页
• 分类号: TP311
• 字数: 7486字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-1220.2018.05.029

摘要

目前,大多数文本特征抽取算法是针对特征词集进行抽取的,由于文本数据量大,且内容描述具有多义性和复杂性,以词为单元的特征抽取结果通常存在歧义.为了解决该问题,论文首先将文本生成词序列,综合考虑了词语在词序列中有序性、可重复性和同义性,利用加权关联规则挖掘方法,对频繁词集进行组合生成特征短语.为提高计算效率,针对大规模文本数据特征短语抽取问题,采用MapReduce计算思想对所提算法进行了扩展.实验表明,该算法具有较高的运行效率,而且可以获得较为准确的特征短语.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	彭敦陆	上海理工大学光电信息与计算机工程学院	64	210	8.0	11.0
2	刘丛	上海理工大学光电信息与计算机工程学院	26	58	4.0	7.0
3	余琴琴	上海理工大学光电信息与计算机工程学院	1	1	1.0	1.0