云解析

云存储_手机网站建设流程_12月免费

字号+ 作者:微辰云 来源:微辰云 2021-06-10 03:02 我要评论( )

在我们与Google云客户的合作中,我们听到了增长、变化和云成功的伟大故事。我们与土耳其一家快速发展的电子商务公司Trendyol Group在数据仓库迁移项目上密切合作。Trendyol拥有约2000名员工,该公司的电子商务网站每年的页面浏览量约为500亿次,访问量约为

云存储_手机网站建设流程_12月免费

在我们与Google云客户的合作中,我们听到了增长、变化和云成功的伟大故事。我们与土耳其一家快速发展的电子商务公司Trendyol Group在数据仓库迁移项目上密切合作。Trendyol拥有约2000名员工,该公司的电子商务网站每年的页面浏览量约为500亿次,访问量约为50亿次,每月拥有5000万用户。对于这家数字本土公司来说,数据一直是其业务的核心。

Trendyol集团面临着前所未有的增长,Trendyol数据仓库(DWH)团队面临着现有本地Vertica数据仓库的性能和可扩展性的挑战,尤其是在假日购物季节和其他繁忙的零售季节。在过去的18个月里,业绩问题变得至关重要,并对业务产生了影响。DWH团队意识到,不能及时处理数据和交付内部报告和仪表板会导致收入损失和供应商管理不准确。例如,当供应商做出错误决策或销售的产品实际上没有库存时,业务部门无法迅速做出反应。

本地数据仓库的容量限制迫使IT团队不断调整性能、规划和扩展容量,而不是专注于业务洞察力。Trendyol的报告团队为600多个用户提供大约2000个工作簿和7000个视图。在迁移之前,大数据的趋势,Trendyol在Vertica环境中存储了超过30 TB的数据。此外,ETL管道中有300多个缓慢变化的维度(SCD),需要团队每天更新10%的数据,这导致在ELT过程中有11 TB的截断插入。

数据的大小拖累了业务。业务用户无法满足执行官要求的周一上午财务报告的sla要求。为了应付这些繁忙的时期,他们的IT团队不得不花时间通过终止长时间运行的查询来调整工作负载,以确保及时完成报告。例如,由于容量问题,业务用户无法为聚合运行跨越三年的查询;他们只能在一年的时间范围内运行。在业务用户访问报表时,数据已经过时。然后,当周四到来,用户没有运行那么多的查询时,DWH团队发现自己的容量过剩,Trendyol需要能够快速做出反应,切断不合规产品或供应商,以满足突然增加的需求。

DWH团队知道,他们需要以经济高效的方式自动调整工作负载。他们将Vertica环境延长了一年,同时开始评估云数据仓库替代方案。

云数据仓库决策标准

Trendyol团队决定调查多家供应商,包括Snowflake和Google cloud。他们对云数据仓库的决策标准包括:

评估云数据仓库

BigQuery的全面文档和简单的管理界面让Trendyol团队为他们的概念验证试验设置BigQuery和微调查询。其他数据仓库供应商的试验需要顾问来优化和调整环境。他们能够自己将数据移动到BigQuery中,而且它确实起了作用。他们还使用了BigQuery的功能,如time travel,中国云,大数据的4,它可以满足现成的备份和恢复要求,以及集成的云身份和访问管理(Cloud IAM)角色,这些角色可以轻松满足安全要求。

Trendyol的BigQuery最重要的功能是存储和计算分离,这样他们就不必在不使用计算机的情况下支付费用。此外,可以轻松地上下扩展他们的工作负载,而不需要启动或关闭时间,这是其他工具所需要的。DWH团队对替代数据仓库工具进行了全面评估,评估中使用了各种基准来表示其主要工作负载,包括ELT、端到端BI、与BI的集成以及许多不同的OLAP查询。BigQuery是每个工作负载的价格和性能的首选选项。

下面是三个示例查询OLAP类型的查询,其中包含10亿行的连接(Regex,20+个分析函数)。

1。表示高级用户的特殊查询:连接四个表;高笛卡尔连接:632m、162m、13m、23k正则表达式函数,2x dist.count

2。具有分析功能的ELT发布层:连接五个表;行:800m、13m、11m、10m、360k 20+分析功能,第一个/最后一个值按

3分组。发布层示例:连接13个表(包括子查询),国内大数据,行:274m、262m、135m、13m、10x group by

,数据分析

转载请注明出处。

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

相关文章
  • 网站建设_mysql数据库怎么安装_企业0元试用

    网站建设_mysql数据库怎么安装_企业0元试用

    2021-06-10 14:19

  • 中间件_网站建设分工_速度快

    中间件_网站建设分工_速度快

    2021-06-10 07:10

  • 域名备案_昭通网站建设公司_怎么买

    域名备案_昭通网站建设公司_怎么买

    2021-06-10 01:38

  • 分布式存储_蓝汛cdn专属流量是什么_最新活动

    分布式存储_蓝汛cdn专属流量是什么_最新活动

    2021-06-09 22:35

网友点评