数据库

香港服务器_腾讯云免费试用_价格

字号+ 作者:微辰云 来源:微辰云 2021-06-11 19:54 我要评论( )

编者按:我们今天听到的是Unity Technologies,它为游戏、建筑、电影和其他行业提供了一个开发平台。在这里,工程和数据总监Sampsa Jaatinen为现代技术决策者分享了宝贵的见解,无论他们从事什么行业。 Unity Technologies是世界领先的创建和操作实时3D(R

香港服务器_腾讯云免费试用_价格

编者按:我们今天听到的是Unity Technologies,它为游戏、建筑、电影和其他行业提供了一个开发平台。在这里,工程和数据总监Sampsa Jaatinen为现代技术决策者分享了宝贵的见解,无论他们从事什么行业。

Unity Technologies是世界领先的创建和操作实时3D(RT3D)内容的平台。我们建立和运营的服务每月触及数十亿个端点,以及有利于金融运营、客户成功、营销和许多其他功能的外部服务。所有这些服务和系统生成的信息对于理解和操作我们公司的业务和服务至关重要。为了实现完全的可视性,并充分挖掘我们数据的潜力,大数据如何分析,我们需要打破筒仓,整合众多的数据源,以便有效地管理和服务这些数据。

集中数据服务

数据平台对于保持业务运行至关重要,并确保我们可以继续为我们的客户提供服务正在发生的中断或事件。在迁移到googlecloud之前,我们使用了一个解决方案,其中存储了用于机器学习的数据集,一个用于企业数据的企业数据仓库,以及另一个用于处理来自流式数据的报告的解决方案。我们看到了一个减少开销并从同一来源满足我们所有需求的机会。

我们希望集中数据服务,这样我们就可以通过一个专注的团队构建一套解决方案,而不是让不同的团队和业务部门创建自己的筒仓环境。集中式数据服务可以构建一次并服务于多个用例。它还使人们更容易理解和管理法规遵从性和隐私环境。

当然,集中化也有它的挑战。如果内部中央服务提供商是许多事情的守门人,物联网的应用实例,那么团队最终将成为一个瓶颈,特别是如果需要中央团队成员的直接参与来打开其他团队前进的大门。为了避免这种情况,集中式数据服务团队采取了一种策略,即构建一个环境,使客户团队能够通过使用自助工具进行更独立的操作。

凭借易于使用的功能,我们的数据用户将能够独立管理自己的数据和开发计划,同时保持数据隐私和访问的高标准和良好做法。这些基石,加上我们想要提供的特定特性和功能,引导我们决定选择基础技术。我们需要在一个完全支持我们将数据连接到Unity内的业务和机器学习需求的解决方案之上进行构建。

为什么我们选择BigQuery

出于这些原因,我们决定在两年前将我们的整个基础设施从另一个云服务迁移到Google云,并将我们的分析基于BigQuery之上。我们专注于这个决定的几个主要领域:可扩展性、支持我们多样化输入和用例的功能、最符合我们需求的成本效益以及强大的安全性和隐私性。

Unity处理的数据规模庞大。每月应用程序下载量超过30亿次,50%的游戏(游戏机、手机和PC的平均下载量)采用Unity,我们运营着世界上最大的广告网络之一。我们还支持全球数十亿游戏玩家。我们的系统每天从Unity services接收和处理数百亿个事件。此外,我们与外部企业服务(如我们运营所需的CRM系统)一起运营,我们希望将这些系统的数据集成、组合,并与我们自己庞大的流式数据集一起提供服务。这意味着我们的数据平台每天必须处理数十亿个事件。此外,它必须能够每月接收数PB的数据,并使各种公司利益相关者能够使用该平台及其分析结果做出关键的业务决策。

我们捕获和存储的数据用于向各种内部团队提供见解。Unity的产品经理需要了解他们的特性和服务是如何被采用的,这也有助于开发未来的版本。市场营销使用这些数据来了解市场是如何演变的,以及如何最好地与我们现有的和潜在的新客户打交道。来自财务、业务开发、业务运营、客户成功、客户代表和其他团队的决策者需要了解各自领域的信息,以了解当前和识别未来的游戏机会。此外,我们选择的解决方案需要支持Unity强大的安全和隐私实践。我们对Unity员工访问数据集的权限进行严格限制。这些数据的匿名化和加密是绝对的要求,在做出这一决定时非常重要。

此外,我们选择的数据平台必须支持机器学习的使用,iot物联网,而机器学习是许多Unity服务的核心。机器学习依赖于数据的快速闭环反馈,其中服务生成数据,然后将其读回,以调整行为以实现更优化的行为,例如,通过在Unity的学习材料上提供更相关的建议,提供更好的用户体验。我们想要一个能够轻松处理这些活动的数据平台

迁移到BigQuery

迁移一开始只是一个常规的提升和转移,但需要对表模式、ETL作业和查询进行一些仔细的调整。迁移花了6个多月的时间,是一个非常复杂的工程项目,主要是因为我们必须满足符合GDPR政策的要求。另一个关键因素是将分散的数据库和工具生态系统转变为单一的统一数据平台。

在整个过程中,我们学到了一些宝贵的经验教训,我们希望这些经验教训对其他有极端分析要求的公司有用。这里有一些需要理解的注意事项。

迁移注意事项

BigQuery需要一个固定的模式,它有优点和缺点(与其他产品不同)。固定模式消除了编写事件的应用程序的灵活性,并强制开发人员遵守更严格的规则。但从积极的一面来看,我们可以利用这一优势,提供安全的下游操作,因为错误的传入记录不会破坏数据。

这要求我们建立一个模式管理系统。这允许Unity中生成数据并需要存储和处理数据的团队创建模式、更改模式,以及重新处理由于模式不匹配而未到达目标表的数据。模式实施所提供的安全性和自助模式管理的灵活性,对于我们将这些数据接收功能推广到我们的团队至关重要。

我们的另一个考虑因素是数据平台的灵活性。在摄取的数据之上,我们的目标是提供数据聚合以便于报告和分析,并提供一个易于使用的数据处理工具集,供任何人创建新的聚合、联接和数据样本。聚合和事件级数据都可用于报告、分析和机器学习数据使用目标,所有这些都可以在BigQuery中以灵活、可扩展的方式访问。

任何复杂的分析系统都需要记住的另一点是,了解目标用户是谁很重要。我们公司的一些人只需要一个简单的仪表板,而BigQuery与datastudio等产品的集成使这变得很容易。有时,这些用户需要更复杂的报告和创建复杂仪表盘的能力,云服务器主机,而Looker选项可能更有意义。

支持机器学习对我们很重要。一些机器学习用例受益于易于开发的循环,其中BigQuery中存储的数据允许轻松使用AutoML和BigQuery ML。同时,其他机器学习用例可能需要高度可定制的生产解决方案。针对这些情况,我们正在开发基于Kubeflow的解决方案,这些解决方案也能够使用BigQuery的数据。

下一步要使您的分析基础设施现代化

转载请注明出处。

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

相关文章
  • 云服务器_广州企业网站设计公司_免费领

    云服务器_广州企业网站设计公司_免费领

    2021-06-11 14:03

  • 专属服务器_网络营销企业网站_免费1年

    专属服务器_网络营销企业网站_免费1年

    2021-06-11 08:08

  • 网站建设_腾讯云贴吧_限量秒杀

    网站建设_腾讯云贴吧_限量秒杀

    2021-06-11 06:36

  • 企业网站_腾讯云幕布_排行榜

    企业网站_腾讯云幕布_排行榜

    2021-06-10 23:27

网友点评