词类共现频率的MapReduce并行生成方法

• 作者: 程兴国 肖南峰
• 来源期刊: 重庆理工大学学报（自然科学版）
• 学科: 工学
• 关键词: 语料库 词类共现频率 自然语言处理 mapreduce hadoop
• 年，卷（期）: 2013,（11）
• 所属期刊栏目: 信息·计算机
• 页码范围: 53-57,64
• 页数: 6页
• 分类号: TP391
• 字数: 3387字
• 语种: 中文
• DOI: 10.3969/j.issn.1674-8425(z).2013.11.011

摘要

语料库在自然语言处理(NLP)领域的应用越来越广泛,词类共现频率的统计是其研究内容之一.针对词类共现的计算特点,给出了基于MapReduce编程模型实现的并行方法,即pairs和stripes方法[1].虽然stripes模式性能明显优于pairs模式,但其在词汇表很大时存在内存溢出问题.针对此缺陷,给出了划分词汇表的解决方法,对输入词汇表进行拆分,此过程可利用MapReduce模型进行预处理.实验结果表明:利用MapReduce的并行性能较好地提高海量语料库中词类共现频率统计的效率和性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	肖南峰	华南理工大学计算机科学与工程学院	83	679	14.0	19.0
2	程兴国	华南理工大学计算机科学与工程学院	7	48	4.0	6.0