网站建设_cdn117_返现

时间:2022-05-12 11:40       来源: 微辰云

网站建设_cdn117_返现

saphanavora是SAP在Hadoop平台上处理"内存中大数据处理和分析"的解决方案。下面简要介绍SAP HANA Vora(1.2版)的概念、服务架构,以及SAP Vora如何在Hadoop上处理大数据。

在计算硬件技术方面,预测密集集成电路中封装的晶体管数量大约每两年翻一番。随着计算能力的快速增长,一个意想不到的结果是人们及其智能设备(如物联网)每天生成的数据量急剧增加。数据的巨大增长,以及随之而来的计算能力的提高,北京大数据,仍然远远超过了用户生成数据的速度。

对于一个被视为大数据的数据来说,它有三个著名的V:速度、体积以及各种结构化和非结构化数据。Hadoop是一个大数据平台,它为存储和分析这些数据量提供了一个成本较低的选择,因为Hadoop通过将数据分布在多个更便宜的商品硬件上而不是通常的高端服务器上来运行,打破了企业数据应该位于高度可靠的昂贵服务器上这一基本事实。性能不会受到影响,因为处理现在分布在并行工作的多个节点上。节点的数量可以很容易地增加,以根据需要提高性能。这是Hadoop大数据生态系统的高层架构,依赖于多个节点。

SAP在2015年推出了一个新的大数据分析解决方案,名为SAP HANA Vora。saphanavora有一个内存数据处理引擎,可以集成到Hadoop大数据生态系统和apachespark执行框架中。apachespark是一个通用的内存数据处理引擎,与Hadoop分布式数据兼容。

SAP HANA Vora引擎设计用于处理大数据的大型分布式文件系统。它通过在内存中处理数据来提高性能,还为多维分析(包括层次报告)提供联机分析处理(OLAP)风格的功能。它还改进了Hadoop环境和其他解决方案(如SAP HANA)中大数据的集成和更快的使用。尽管Hadoop是Apache的开放平台解决方案,建站服务,大数据是数据,云服务器试用,大数据局,但许多供应商都提供了商业Hadoop发行版。目前,SAP HANA Vora在以下商业发行版中受支持:

Hortonworks数据平台(HDP)Cloudera企业(CDH)MapR

SAP HANA Vora插入通用内存数据处理引擎apachespark。saphanavora利用Hadoop之上的apachespark执行框架以交互方式分析大数据。SAP-HANA-Vora可以在两种主要场景中运行

在本文使用的业务案例场景中,Hadoop需要将其大数据与SAP-HANA中的企业数据进行联合。在这个场景中,saphanavora可以帮助使用Hadoop(使用apachespark执行框架)中的大数据和saphana中的企业数据,从而为合并数据进行组合分析提供了一个平台。这使数据科学家和开发人员能够将Hadoop中的数据集与存储在SAP HANA数据库中的企业数据相结合,从而快速分析Hadoop中的数据集。

下面是安装了SAP HANA Vora的Hadoop环境的主要组件的图片

对于此场景,在SAP HANA支持包堆栈(SPS)10之前,SAP HANA连接到大数据使用开放数据库连接(ODBC)连接进行智能数据访问(SDA)。从sps10开始,saphana使用apachespark控制器与Hadoop平台连接来消耗大数据。现在有了这个版本,SAP HANA SPS 11、SAP HANA Vora(1.0版)是另一个选择。在这个版本中,它仍然使用apachespark控制器(sparksql适配器)连接到Hadoop平台。但是,现在连接发生在Hadoop环境中运行的SAP HANA Vora服务上,而不是像SAP HANA版本sps10那样依赖apachespark和Hive Metastore。在SAP HANA和Hadoop平台的联合环境中,数据现在可用于双向消费,无论是来自Hadoop还是SAP HANA。