美团数据平台及数仓建设实践.pdf

美团数据平台及数仓建设实践.pdf
本文档主要总结了美团数据平台的建设实践,重点在于离线数仓、实时数仓、数据平台和数据治理四个方面: **离线数仓:** 美团外卖离线数仓的建设历程,包括架构演变、数据规范、分层标准、主题标准、数仓治理和未来规划。强调了数仓建设过程中的痛点问题,例如开发效率低、数据口径不统一、资源成本高等,以及针对性解决方案。 **实时数仓:** 美团外卖实时数仓的建设实践,核心是构建一个通用生产平台和一个通用交互式实时分析引擎,满足不同业务场景。讨论了实时计算技术选型(Storm、Flink)、Lambda架构、Kappa架构、数据特点、数仓架构设计和实时平台化建设等内容。 **数据平台:** 美团数据平台融合实践,目标是实现一个集群、一套数据平台的工具、一套开发规范。阐述了确立目标、解决难点(架构复杂、基础设施限制、可靠性要求)以及数据互访打通、集群融合、开发工具融合和老点评侧拆库等策略。 **数据治理:** 美团配送和酒旅数据治理实践,强调数据治理的重要性,以及如何理解数据治理,分享了数据治理的策略和实践,包括制定标准、统一流程、实施技术系统(元数据管理、数据质量监控等)和资源优化等。 此外,文档还介绍了 Doris 和 Kylin 在美团外卖数仓中的应用实践,以及 A/B 测试平台在美团配送的应用。
下载完整报告 | 17.96 MB | 290页
阅读和下载会消耗积分;登录、注册、邀请好友、上传报告可获取积分。
成为VIP会员可免费阅读和下载报告