云服务器

香港带宽_阿里云域名实名认证_0元

字号+ 作者:微辰云 来源:微辰云 2021-06-10 05:33 我要评论( )

googlecloud的Dataproc允许您以更简单、更经济的方式在googlecloud上运行本地apachespark和Hadoop集群。在这个博客中,我们将讨论Dataproc的组件交换中提供的最新可选组件:Docker和Apache Flink. Dataproc上的Docker容器 Docker是一种广泛使用的容器技术

香港带宽_阿里云域名实名认证_0元

googlecloud的Dataproc允许您以更简单、更经济的方式在googlecloud上运行本地apachespark和Hadoop集群。在这个博客中,我们将讨论Dataproc的组件交换中提供的最新可选组件:Docker和Apache Flink.

Dataproc上的Docker容器

Docker是一种广泛使用的容器技术。由于它现在是Dataproc可选组件,Docker守护进程现在可以安装在Dataproc集群的每个节点上。这将使您能够在集群上轻松安装容器化应用程序并与Hadoop集群交互。

此外,Docker对支持这些功能也至关重要:

在YARN上运行容器允许您单独管理YARN应用程序的依赖关系,还允许您在YARN上创建集装箱化服务。在这里获取更多详细信息。便携式apachebeam将作业打包到Docker容器中,云信息,并将它们提交给Flink集群。找到更多关于Beam可移植性的细节。

Docker可选组件除了默认的Docker注册表外,全球云购,还配置为使用Google容器注册表。这允许您使用组织管理的容器映像。

下面是如何使用Docker可选组件创建Dataproc群集:

gcloud beta Dataproc clusters create\--optional components=Docker\--image version=1.5

当您运行Docker应用程序时,日志将流式传输到云日志记录,使用gcplogs驱动程序。

如果您的应用程序不依赖任何Hadoop服务,请检查Kubernetes和Google Kubernetes引擎,以在本地运行容器。有关使用Dataproc的更多信息,我的免费云,请查看我们的文档。

Apache Flink on Dataproc

在流分析技术中,Apache Beam和Apache Flink非常突出。apacheflink是一个使用状态计算的分布式处理引擎。apachebeam是定义批处理和蒸处理管道的统一模型。使用Apache Flink作为执行引擎,除了谷歌的云数据流服务外,您还可以在Dataproc上运行Apache Beam作业。

Flink和在Flink上运行Beam适用于大规模、连续作业,并提供:

我们在Google Cloud的Dataproc团队最近宣布Kubernetes上的Flink Operator现在可用。它允许您在Kubernetes中运行Apache Flink作业,带来减少平台依赖性和提高硬件效率的好处。

基本Flink概念

Flink集群由一个Flink作业管理器和一组Flink任务管理器组成。与其他分布式系统(如YARN)中的类似角色一样,JobManager的职责包括接受作业、管理资源和监督作业。TaskManagers负责运行实际任务。

在Dataproc上运行Flink时,我们使用YARN作为Flink的资源管理器。您可以通过两种方式运行Flink作业:作业集群和会话集群。对于作业集群,YARN将为作业创建JobManager和TaskManagers,并在作业完成后销毁集群。对于会话群集,大数据人工智能,纱线将创建JobManager和一些任务经理群集可以服务多个作业,直到被用户关闭。

如何使用Flink创建群集

使用此命令开始:

gcloud beta dataproc clusters create\--optional components=Flink\--image version=1.5

如何在dataproc之后运行Flink作业

使用Flink启动集群,零售大数据解决方案,您可以直接使用Flink作业集群将Flink作业提交给YARN。接受工作后,弗林克将开始一个JobManager和插槽为这项工作在纱线。Flink作业将在纱线组中运行,直到完成。然后将关闭创建的JobManager。作业日志将以常规纱线日志的形式提供。请尝试使用以下命令运行字数计算示例:

转载请注明出处。

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

相关文章
  • 轻量服务器_阿里云备案照片要求_高性价比

    轻量服务器_阿里云备案照片要求_高性价比

    2021-06-09 23:44

  • 阿里云_禅道数据库默认密码_免费

    阿里云_禅道数据库默认密码_免费

    2021-06-09 07:37

  • 服务器_阿里巴巴云计划发布_学生机

    服务器_阿里巴巴云计划发布_学生机

    2021-06-09 03:35

  • 香港服务器_如何购买云服务器_超低折扣

    香港服务器_如何购买云服务器_超低折扣

    2021-06-08 15:00

网友点评