企业数据战略规划 - 方法和实践 0730.pdf

企业数据战略规划 - 方法和实践 0730.pdf
这份PPT主要探讨了数字化转型中的数据战略和技术趋势,核心内容可以概括为以下几个方面: **1. 技术发展引发的架构演进趋势:** * **数据中心趋势:** 走向私有云和云原生,推动算力密集度加速、存算分离和异构计算。 * **架构趋势:** 数据运营从传统的DataOps演进到批流一体,最终走向湖仓一体,云原生是核心。 * **技术生态趋势:** Hadoop作为包容性技术栈,不断发展和完善,包含了容器化、微服务化、持续交付和AIops等云原生基础技术。 **2. 数据驱动创新的数据架构特点:** * **从过去到现在:** 从数据中心部署到云化部署;从批处理加工为主到批流合一;从大需求/大项目/粗模块到碎片化需求,细粒度/灰度演进;从点到点的数据访问到数据的去中心化,统一数据访问;从传统企业数仓统一架构到领域驱动的设计开发,强调业务灵活性;从固定甚至僵化的数据模型到灵活变化的数据模型。 **3. 数据架构的趋势:** * **碎片化需求、产品化设计、集中式产能。** * **集中产能,提供去中心化的产线,应对碎片化的业务需求。** * **核心概念:** * **Data Mesh(数据网格):** 将数据去中心化,业务方自助使用。 * **Data Fabric(数据编织):** 将分布于不同应用的数据链接起来,实现数据编织。 * **湖仓一体:** 集成数据仓库和数据湖,支持多功能分析。 * **混合云环境:** 支持混合云和多云环境的基础设施。 **4. 为什么会出现Data Mesh:** 应对技术复杂度与业务复杂度的分离。康威定律影响下,需要新的组织架构模式。 **5. 针对数据产品的工业化敏捷生产和闭环优化:** * 构建工业化敏捷生产体系,实现数据产品的全生命周期管理。 * **核心理念:** 数据用户负责制定目标、质量标准、架构规范,由业务数据团队自助定义产品。 **6. 数据Fabric - 数据应用的层次化架构:** 重点在于数据管理、数据安全、数据治理和数据的应用。 **7. 从数据仓库到云原生的“数据湖仓”:** * **云原生数据湖仓的特点:** 具有云原生特性、存算分离、支持多种存储引擎、扩展性和灵活性、SaaS化服务等。 * **数据湖仓(Data Lakehouse)优势:** 云原生的数据湖仓具备了云原生、多云部署、云原生、容器化、存算分离、多种存储和计算引擎支持、扩展性和灵活性等优势,提供了统一的元数据和数据目录。 **8. 从数仓/数据湖到Data Lakehouse(数据湖仓):** 传统数据仓库、数据湖和Data Lakehouse在数据源、数据格式、数据量级、存储方式、可扩展性和计算引擎等方面的区别。Data Lakehouse在多个方面都做了优化和提升。 **9. 从数据架构的演进看大数据Hadoop生态的发展:** Hadoop生态从Hadoop 1.0到Hadoop 3.0,各个阶段对存储、计算、治理等方面的支持和演进。 **10. 湖仓一体的实现:** * 湖仓一体的核心是灵活的“动态表结构”。 * **关键技术:** 开放表格式、ACID支持、灵活Schema、分区演进和不依赖特定存储。 **11. 分别适配各种数据存储方式,适应不同类型数据和场景:** 贴源、基础和历史数据HDFS;准实时分析和探索数据Kudu;海量明细查询数据HBase;对象存储Ozone等存储方式的特性。 **12. 云化数据湖存储: Apache Ozone高性能对象存储:** 解决混合云、多云部署的存储扩展性问题。 **13. 从技术到业务 - 数据战略的定位:** * 战略工程化:通过技术驱动战略实现。 **14. 数据战略包含的常见内容:** 数据战略、数据治理、数据架构、数据标准、数据质量、数据安全、数据应用、数据生命周期。 **15. 数字化转型的指导纲领:** 重点关注十四五规划中的相关内容,包括加快企业数字化转型升级,支持大型企业打造一体化数字平台。 **16. 上云、赋智、用数:** 构建数据治理体系,保障数据的安全、质量和价值的充分发挥。 **17. 针对数据产品的工业化敏捷生产和闭环优化:** 数据团队在平台和应用上要做的业务自助和技术自洽。 **18. 数据驱动的新业务,也需要新的数据管理策略:** IT从运动员到组织者+裁判员,面临的挑战在于数据在业务和技术两个角度如何统一;Dev和Ops 两个流程如何统一;数据在成本和收益两个层面如何计算。 **19. 传统数据治理面临的挑战:** 数据标准嵌入的闭环,数据资产的实时状态和治理状态匹配,业务人员参与程度,数据资产的价值量化等。 **20. 充分自助和自治,提高业务参与度:** 强调数据治理平台化,促进业务用户对数据治理形成自发行为和习惯,实现去中心化治理,自助化体验。 **21. 面向领域、面向用户的数据标准和操作规范:** 数据治理要随着业务反馈逐步完善。 **22. Data Fabric中实现数据治理的五个工作:** 实时化、统一数据确权、元数据管理图谱化、数据资产的成本/价值盘点,数据评价的社区式民主协作。 **23. 数据驱动业务的战略考虑:** * **Joseph Fuller的观点:** 战略的关键在于干掉假设。 * **核心竞争力的钻石模型:** 资源优势,需求,生产力方式,战略和组织。 **24. 基于数据建立竞争力的钻石模型:** 构建以用户为中心,以大数据为基础的商业模式。包括零售业务转型、研究业务提速、运营优化和法规遵从。 **25. 麦肯锡: 银行数字化金融创新的“3+1”战略:** * 三个策略: 建设全新商业模式;以客户为中心的现有业务数字化转型;利用战略合作机会或者风投机会,进行布局。 * 一套基础能力。 **26. 例子:数字化转型之数据体系整体规划:** 数据推动业务模式创新的目标、平台+应用双轮驱动推动业务发展。 **27. 例子:数据体系规划:** 数据体系的规划架构 **28. 技术能力建设优先级分析与设定:** 结合业务价值、技术复杂度和风险等因素,对技术能力进行优先级分析和设定。
在线阅读 下载完整报告 | 5.31 MB | 40页
阅读和下载会消耗积分;登录、注册、邀请好友、上传报告可获取积分。
成为VIP会员可免费阅读和下载报告