摘要:

随着风电场规模的不断扩大扩大,风电机组状态监测流数据呈指数增长,而电力系统要求对生产、管理、运营能够实时监控.为保证海量监测流数据处理的实时性,掌握风电机组的运行状态,设计了结合大数据处理技术的风电机组在线状态监测模型.根据状态监测数据的特点,引入了大数据处理技术中的Spark和Storm.实验结果显示,该状态监测模型有着较好的数据吞吐能力和加速比,也证明了该模型的有效性和可行性.

摘要:

风电机组状态监测数据具有量大、多源、异构、复杂、增长迅速的电力大数据特点。现有的故障诊断与预警方法在处理大数据时难以在保证精度情况下进行快速处理，故提出了结合 Storm 实时流数据处理和 Spark 内存批处理技术的风电机组在线故障诊断与预警模型。以齿轮箱故障诊断与预警为例阐释该模型，引入了 Storm 处理状态监测数据流，设计了流数据处理的 Topology 结构；引入 Spark ，利用弹性分布式数据集（RDD）编程模型实现了朴素贝叶斯（NB）算法和反向传播（BP）算法对设备状态信息进行故障诊断与预测。实验结果显示，该故障诊断与预测方法在保证精度的前提下具有较好的加速比，也证明了该故障诊断与预警模型的有效性和可行性。

摘要:

针对海量流数据的在线处理需求，提出一种不同于传统 Map/Reduce 流数据处理的系统模型 Flexible workflow.该模型对 workflow 处理单元进行在线 Map/Reduce 并行化，实现了 SPATE 系统；同时为该系统定义一组关于作业的建立、管理和维护的通信规程，即拓扑管理协议.SPATE 系统解决了在线 Map/Reduce 流数据处理过程中要求实时性及可扩展性的问题.实验验证了拓扑管理协议的有效性，拓扑管理协议能有效管理 Flexible workflow 流数据处理模型.

摘要:

作为网络服务的底层硬件平台，数据中心的网络拓扑结构及工作机制对于上层的应用服务的性能具有决定性的作用。传统数据中心采用的树形分层结构已经难以满足新一代网络服务的需求，特别是在数据流的应用上传统的网络结构更加无法适用。因此，提出一种针对流数据处理的新型模块化数据中心拓扑构建方式并设计以服务器为中心的路由算法。该方案采用低造价的商业级交换机构建数据中心网络，在降低构建造价的同时提高网络的吞吐量及容错性能。实验表明，所提出的拓扑结构及路由算法在流数据处理上的网络吞吐量表现优于传统的树形结构并且具有更好的容错性能。

摘要:

随着大数据时代的到来,大规模XML文件不断地涌现,其信息庞大,结构复杂,而传统的XML查询匹配技术需要大量的存储空间和预解析工作,不能有效解决XML大文件的匹配要求.针对这种现状,分析了现有经典匹配算法核心思想,并结合多线程并行相关知识,提出了一种新的并行的XML数据流模式匹配算法,称为并行路径流算法(parallel path stream,PPS).该算法在以流模式顺序解析XML文件的过程中,缓存以查询模式根元素为根节点的子树,以顺序链表存储节点的编码信息,在进行有效过滤后加入任务链表中,采用独特的匹配方法并行操作任务池中的各个顺序链表后得到匹配结果.实验表明,该算法能够明显减少存储空间,其过滤过程和并行操作能够有效减少匹配时间,并在查询路径长度方面具有一定优势.

摘要:

XML查询语言当中，包含通配符倡的查询能够方便有效地满足一些特殊查询要求，但在大数据时代下XML文件容量与结构复杂性不断增加，现有支持通配符查询的算法需消耗巨量内存来解析XML，并且在对嵌套通配符处理时需要大量的单路径匹配操作和局部结果的缓存。针对此现状，结合现有经典算法，提出一种新的、能够高效解决小枝模式当中含有通配符倡的查询算法—WTwigList。该算法首先对查询模式进行通配符的层次关系处理，减少不必要的通配符匹配，以数据流形式解析XML文件并执行局部的扩展Dewey编码，经过滤操作后得到有序的叶子节点编码列表，在列表中执行匹配操作得到结果；其次在真实和合成数据集上做大量实验，结果表明WTwigList算法与现有算法相比，能够有效提高查询效率，在空间效率上具有一定优势，且能够快速准确地处理查询模式中P-C关系。

摘要:

针对流数据规模参差不齐、流量动态变化且突发性较强的特点，提出一种可伸缩的动态 MapReduce 计算模型，支持大规模动/静态数据在线处理。基于 Event 推送方式，利用Netty 底层异步通信方式等技术，建立在线 MapReduce 数据传输机制，进一步实现其原型程序，解决了大规模分布式计算程序的快速在线传输和数据分发等问题，支持流数据动态分发机制，为动态 MapReduce 模型提供支撑。与 HadoopOnline 系统的传统 Socket 管道传送方式相比，该方法能有效提高作业之间数据的传送效率，从而提高大规模流数据处理的实时性。