大数据系统

• 作者: 孟飞妤
• 来源期刊: 数字化用户
• 关键词: 大数据 flume kafka sparkstreaming hbase
• 年，卷（期）: 2018,（36）
• 所属期刊栏目: 信息系统
• 页码范围: 173
• 页数: 1页
• 字数: 850字
• 语种: 中文
• DOI: 10.3969/j.issn.1009-0843.2018.36.165

摘要

随着互联网技术深刻而广泛地改变了人们的生活方式,我们越来越发现这些留在互联网上的生活痕迹具有数量大,分布广,能够通过数据分析揭示不同现象等特点.但对于这些具有重大价值的数据,如何处理成为一大难题.在本文中,我将大数据系统分为数据搜集,数据分析,数据存储等三个方面,并分别用flume,kafka,spark streaming,hbase(hdfs)等框架进行处理.这些框架都是apache的开源项目,可以供广大用户方便地使用.其中,flume可以通过各种不同类型的source并行采集数据,并通过channel将数据传送给kafka,kafka是一种高吞吐量的分布式发布订阅消息系统,spark streaming从kafka中读取消息并进行相应处理,最后将所需数据存入hbase或hadoop中.整个大数据系统框架可以并发,高效实时处理海量数据,提取所需信息.本文在最后介绍了日志处理的一个demo实践,希望能够为新手提供一些借鉴与经验.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	孟飞妤		1	0	0.0	0.0