数据库

大数据系统_便宜的_物联网的发展前景

字号+ 作者:微辰云 来源:微辰云 2021-02-03 09:34 我要评论( )

通常,企业服务总线(ESB)或其他集成解决方案(如extract transform load,ETL)工具已用于尝试分离系统。然而,连接器的数量之多,以及应用程序同时发布和订阅数据的要求,意味着系统总是相互交织的。因此,开发项目对其他系统有很多依赖性,没有任何东

大数据系统_便宜的_物联网的发展前景

通常,企业服务总线(ESB)或其他集成解决方案(如extract transform load,ETL)工具已用于尝试分离系统。然而,物联网技术应用,连接器的数量之多,以及应用程序同时发布和订阅数据的要求,意味着系统总是相互交织的。因此,免费大数据,开发项目对其他系统有很多依赖性,没有任何东西可以真正地解耦。这篇博客文章展示了为什么有那么多的企业利用Apache Kafka的生态系统成功地集成了不同的传统和现代的应用程序,以及这是如何不同的,大数据有什么用,但也补充了现有的集成解决方案,如ESB或ETL工具。整合的需要——一个永无止境的故事无论您在哪个企业工作,无论您的公司何时成立,您都需要将您的应用程序彼此集成以实现业务流程。这包括许多不同的因素:技术(如SOAP、REST、JMS、MQTT等标准,JSON、XML、Apache Avro或协议缓冲区等数据格式,Nginx或Kubernetes等开放框架,以及EDIFACT或sapbai等专有接口)编程语言和平台,如Cobol、Java、.NET、Go或Python应用程序体系结构,如整体式、客户机-服务器、面向服务的体系结构(SOA)、微服务或无服务器诸如批处理、(近)实时、请求-响应、触发和忘记、发布-订阅、连续查询和回放等通信范式许多企业体系结构都有点混乱,比如:每个公司都需要解决这些意大利面架构。根据这十年的情况,您要么购买ETL工具来构建批处理管道,要么购买ESB来设计SOA。一些产品也改名了。今天,我们为您提供了中间件消息传递、集成平台、微服务网关或API管理。品牌和产品名称并不重要。你总是看到同一个解决方案,从你的意大利面架构转移到中间的一个中央整体盒,像这样:不幸的是,这在实践中很少奏效。在过去20年中,大多数SOA项目都失败了。企业现在转向流式平台来解决这个问题,智能工厂解决方案,而不是使用ETL工具或ESB。这是下一个市场泡沫吗?只是个新学期?或者,是否真的发生了一些变化,使得企业能够成功地集成,无论是集成传统的大型机、标准应用程序(如CRM和ERPs)、使用任何编程平台构建的现代微服务,还是公共云服务?为什么公司现在迁移到ApacheKafka来构建这个流媒体平台?为什么每个人都会在会议、技术讲座和博客上谈论这些?它与ESB或ETL工具相比如何?下一节将回答所有这些问题,并解释ApacheKafka生态系统与其他现有集成解决方案之间的原因和差异。事件驱动处理和流式处理是企业体系结构中的一个关键概念事件流平台(您也可以在这里输入另一个流行语)将事件作为核心原则。在事件的数据流中思考,并在数据移动时处理数据。许多概念,如事件源或设计模式(如企业集成模式(EIP))都基于事件驱动的体系结构。以下是流媒体平台的一些特点:基于事件的数据流作为(近)实时和批处理的基础。在过去,所有的东西都是建立在数据存储(静态数据)上的,因此不可能构建灵活、敏捷的服务来处理相关的数据。可伸缩的中枢神经系统,用于任何数量的源和汇之间的事件。Central并不意味着中间有一个或两个大箱子,而是一个可扩展的分布式基础设施,设计为零停机时间,处理节点和网络故障以及滚动升级。不同版本的基础设施(如Kafka)和应用程序(业务服务)可以以灵活、动态的方式进行部署和管理。任何类型的应用和系统的可积性。技术不重要。连接任何东西:编程语言、像REST这样的api、开放标准、专有工具和遗留应用程序。速度不重要。读一次。读几遍。从头读一遍(例如,添加新的应用程序,用相同的数据训练不同的机器学习模型)。用于去耦应用的分布式存储。不要试图使用您最喜欢的传统消息传递系统和内存缓存/数据网格来构建自己的流媒体平台。这背后有很多复杂性,流媒体平台只是内置了它。例如,这允许您存储微服务的状态,而不需要单独的数据库。无状态服务和有状态业务流程。业务流程通常是有状态的流程。它们通常需要使用事件和状态更改来实现,而不是使用远程过程调用和请求-响应样式。像事件源和CQRS这样的模式有助于在事件驱动的流式体系结构中实现这一点。企业架构中流式平台的好处流式平台为您的企业架构带来了巨大的好处:在任何公共云环境中,或通过混合部署,节点、容量、吞吐量方面都具有很大的弹性可伸缩性。建筑的灵活性。建造小服务,大服务,有时甚至还建造一个整体。事件驱动的微服务。异步连接的微服务为复杂的业务流建模,并将数据移动到需要的地方。开放性,无需致力于独特的技术或数据格式。下一个新的标准、协议、编程语言或框架即将到来。即使某些源或接收器使用专有数据格式或技术,中央流媒体平台也是开放的。独立的、分离的业务服务,作为产品进行管理,具有关于开发、测试、部署和监视的自己的生命周期。松耦合允许不同生产商和消费者之间独立的处理速度、在线/离线模式和处理背压。多租户,以确保只有正确的用户才能在单个集群中创建、写入和读取不同的数据流。工业化部署使用容器、devops等,在需要的地方部署,无论是本地部署、公共云还是混合环境。这些特性建立了流式平台的基础,这是成功的数字转换的开始。由于服务实现了一组有限的功能,并且服务是独立开发、部署和扩展的,因此您可以缩短实现结果的时间并提高灵活性。只有具备上述特征的流媒体平台才有可能实现这一点。流媒体平台的用例以下是一些通用场景,说明如何利用具有上述特征的流媒体平台:大数据集的事件驱动处理(如日志、物联网传感器、社交订阅源)任务关键型实时应用程序(例如,支付、欺诈检测、客户体验)不同的遗留应用程序和现代应用程序之间的解耦集成微服务体系结构分析(如数据科学、机器学习)不同应用程序的生产者和消费者实际上是分离的。它们以各自的速度和要求独立扩展。您可以随着时间的推移添加新的应用程序,包括生产者和消费者。通常,许多独立的应用程序需要使用一个事件来完成业务流程。通过实时的酒店预订流程,实时分析酒店的客房预订情况,提高酒店的实时物流分析能力。虽然有些流程需要实时处理,但您还需要能够支持批处理流程。您甚至需要比开始时想象的更频繁地重复使用数据,例如在应用程序关闭一段时间的情况下,使用不同版本的应用程序进行A/B测试,添加需要从头开始使用数据的新应用程序,或者基于相同的机械学习来构建不同的分析模型数据集。考虑更多的用例,云服务器多少钱,您可以使用一个真正的解耦系统轻松构建这些用例,该系统仍然是一个良好集成和可扩展的流媒体平台:在顾客离开商店之前销售在欺诈发生前中止交易在制造机器发生故障前更换部件如果航班或火车晚点通知客户(加上发送更新、重新预订或优惠券)你能说出它的名字,清单就在列。从批量到实时的大爆炸?现在,您了解了真正的解耦、可伸缩的流媒体平台的附加值。那么,我是否必须将它作为我们所有应用程序的中心数据平台来介绍呢?小心!没有一家成熟的企业能成功地实现大爆炸。遗留应用程序无处不在。从预流媒体到流媒体平台一步一步走。如果您来自大型机时代,那么您甚至可能永远拥有批处理和非流式应用程序(或者至少在未来20-30年内)。没关系。你只需要把这些系统中的事件带入事件驱动的中枢神经系统。以下是我们用来识别大型企业现状和规划的流式成熟度模型:你今天在哪里?预流式处理(批处理或传统)兴趣(概念或试点的首次证明)早期生产(部分独立项目投产)集成流媒体(生产中有不同项目的流媒体平台)事件流平台(主要是基于事件的应用程序的流式企业)大多数传统企业都是从流前阶段开始的。那很好。T

转载请注明出处。

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

相关文章
  • 数据存储解决方案_如何使用_计算机云计算课程

    数据存储解决方案_如何使用_计算机云计算课程

    2021-02-27 15:06

  • NAT 网关_个人_零售大数据分析

    NAT 网关_个人_零售大数据分析

    2021-02-27 14:40

  • 云服务器优惠_网站_大数据分析实例

    云服务器优惠_网站_大数据分析实例

    2021-02-27 14:28

  • 云数据库服务器_高性能_大数据和人工智能哪个更有前景

    云数据库服务器_高性能_大数据和人工智能哪个更有前景

    2021-02-27 14:09

网友点评