新闻资讯

免费自助建站系统-数据块上的实时数据仓库:更改读取时的数据捕获和模式

字号+ 作者:微辰云 来源:微辰云 2020-09-30 11:43 我要评论( )

几个月前,我们举办了一个在线研讨会——实时数据仓库在Databricks上的应用:更改数据捕获和读取模式——讨论了如何在数据块上构建一个实时数据仓库,重点是从关系数据库执行变更数据捕获,并将这些数据连接到各种数据源。网络研讨会可以按需访问,其幻灯

数据块上的实时数据仓库:更改读取时的数据捕获和模式

几个月前,我们举办了一个在线研讨会——实时数据仓库在Databricks上的应用:更改数据捕获和读取模式——讨论了如何在数据块上构建一个实时数据仓库,大数据平台,阿里大数据应用平台,重点是从关系数据库执行变更数据捕获,并将这些数据连接到各种数据源。网络研讨会可以按需访问,其幻灯片和示例笔记本也可以作为网络研讨会的附件下载。加入Databricks社区版测试版,免费访问apachespark并试用笔记本电脑。我们回答了以下网络研讨会观众提出的常见问题。如果您还有其他问题,请访问Databricks论坛。常见网络研讨会问答单击问题以查看答案:替换ETL会很棒。我的企业数据仓库的成本让我非常痛苦(包括Oracle和Teradata)。我可以更进一步,物联网网关,使用Spark和nosqldb(比如Mongo或Cassandra)以及底层的Hadoop存储层一起使用,完全取代ETL层和EDW吗?关于JSON,如果我在一个S3存储桶中有一系列单独的JSON文件,企业管理类软件,我是否可以在一次读取多个JSON文件时使用schema应用"SQL"查询?在CDC的第一张幻灯片上,显示了日期为1/2、金额为250美元的记录。然后在源数据库中更新了1/5的金额350美元。第二行被添加到目标数据库,现在有两行,一行250美元,一行350美元。目标数据库中的两行都显示了1/5的更新日期。是故意的,更新目标数据库中原始行的最后更新日期吗?我本以为250美元的那一行不应该更改它的最后更新日期。你能分享一些关于如何处理列重命名的想法吗?S3和Spark上的parquet真的可以取代像Teradata或Redshift这样的MPP数据仓库,个人云服务器,并且仍然获得相同的MPP性能吗?免费试用Databricks。今天就开始吧

转载请注明出处。

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

相关文章
  • 怎么查看大数据-暖通空调淡季:保持全年收入持续增长的5点建议

    怎么查看大数据-暖通空调淡季:保持全年收入持续增长的5点建议

    2020-10-10 13:13

  • 大数据指的是什么-2020年暖通空调广告的13种最佳方式

    大数据指的是什么-2020年暖通空调广告的13种最佳方式

    2020-10-10 13:06

  • 大数据风控-2020年12大卫浴行业趋势

    大数据风控-2020年12大卫浴行业趋势

    2020-10-10 13:01

  • 大数据收集-6条自动回复信息提示和示例,提升您的客户服务体验

    大数据收集-6条自动回复信息提示和示例,提升您的客户服务体验

    2020-10-10 12:59

网友点评
-->