云服务

企业邮箱_服务器配置要求_限时特惠

字号+ 作者:微辰云 来源:微辰云 2021-06-06 14:46 我要评论( )

大数据公司QuboleInc.正在加强ApacheSpark,使其客户能够在Amazon Web Services Inc.的AWS Lambda服务上运行Spark应用程序,从而使其更加灵活和易于使用。apachespark是目前最流行的大数据处理引擎之一,旨在执行流式、机器学习或SQL工作负载,这些工作负

企业邮箱_服务器配置要求_限时特惠

大数据公司QuboleInc.正在加强ApacheSpark,使其客户能够在Amazon Web Services Inc.的AWS Lambda服务上运行Spark应用程序,从而使其更加灵活和易于使用。apachespark是目前最流行的大数据处理引擎之一,旨在执行流式、机器学习或SQL工作负载,这些工作负载需要快速、持续地访问数据集。Qubole说,企业网站自助建站,在Lambda上运行Spark的能力,Lambda是一种无服务器的计算服务,用户只需为自己使用的计算能力付费,而无需提供服务器,这使得平台在资源使用方面更具弹性和效率。Qubole在一篇博客文章中说,它的Spark on Lambda服务克服了两个主要问题,这两个问题使在AWS Lambda上运行Spark是一个挑战。这包括Spark无法直接与Lambda通信,这是它需要做的,以便能够运行其执行器。另一个问题是Lambda的运行时资源有限,最大执行时间限制为5分钟,大数据需要学什么,1536MB内存和512MB磁盘空间,这使得像Spark这样内存需求旺盛的平台运行起来极其困难。为了克服这些限制,Qubole执行了一些技术上的技巧,以确保Spark on Lambda服务在AWS Lambda调用中运行其执行器,大数据系统,从而避免了通信问题。对于Lambda有限的运行时资源,这是通过使用外部存储来避免本地磁盘大小限制来解决的。Qubole提供了以下图表来帮助展示Spark on Lambda的工作原理:至于好处,Qubole说Lambda上的Spark使运行"突发性工作负载"成为可能,这些负载是在计算容量需求激增时卸载到公共云上的内部应用程序,而不需要等待服务器先启动。Spark集群也可以自动扩展,管理员不需要输入。要想计算出Lambda的精确成本,就必须让Lambda函数更加透明,也不应该用Spark来计算成本。"Qubole的客户经营着世界上最大的Spark集群,"Qubole首席执行官Ashish Thusoo说我们希望证明,像Spark这样的复杂技术可以在Lambda这样的无服务器计算基础设施上实现,并且可以高效地进行扩展。"Qubole表示,Lambda上的Spark目前可以作为技术预览版提供,公司将在下周拉斯维加斯举行的AWS re:Invent大会上展示自己的能力。图片:Qubole既然你来了…点击订阅我们的YouTube频道(见下文),显示您对我们使命的支持。我们的订户越多,YouTube就越会向你推荐相关的企业和新兴技术内容。谢谢!支持我们的使命:>>>>>立即订阅我们的YouTube频道。……我们还想告诉你我们的使命,以及你如何帮助我们完成它。SiliconANGLE Media Inc.的商业模式是基于内容的内在价值,而不是广告。与许多在线出版物不同的是,我们没有付费墙或横幅广告,因为我们想让我们的新闻保持开放,不受影响,也不需要追逐交通。那个新闻、报道和评论SiliconANGLE——以及现场报道,我们的硅谷工作室和cube环球巡演的视频团队提供的未经剪辑的视频需要大量的辛勤工作、时间和金钱。保持高质量需要赞助商的支持,他们与我们的无广告新闻内容的愿景一致。如果你喜欢这里的报道,好评返现图片,视频采访和其他无广告内容,请花点时间看看我们的赞助商支持的视频内容样本,在推特上表达你的支持,然后继续回到SiliconANGLE。

,大数据数据

转载请注明出处。

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

相关文章
  • 全站加速_代理服务器是什么_超低折扣

    全站加速_代理服务器是什么_超低折扣

    2021-06-06 11:54

  • 百度云_阿里云服务器远程连接不上_好用

    百度云_阿里云服务器远程连接不上_好用

    2021-06-06 10:30

  • 企业邮箱_如何激活企业邮箱_高性能

    企业邮箱_如何激活企业邮箱_高性能

    2021-06-06 06:02

  • 文件存储_蔓延服务器_超低折扣

    文件存储_蔓延服务器_超低折扣

    2021-06-06 02:59

网友点评