企业数据战略规划 - 方法和实践 0730.pdf

这份PPT主要探讨了数字化转型中的数据战略和技术趋势,核心内容可以概括为以下几个方面:
**1. 技术发展引发的架构演进趋势:**
* **数据中心趋势:** 走向私有云和云原生,推动算力密集度加速、存算分离和异构计算。
* **架构趋势:** 数据运营从传统的DataOps演进到批流一体,最终走向湖仓一体,云原生是核心。
* **技术生态趋势:** Hadoop作为包容性技术栈,不断发展和完善,包含了容器化、微服务化、持续交付和AIops等云原生基础技术。
**2. 数据驱动创新的数据架构特点:**
* **从过去到现在:** 从数据中心部署到云化部署;从批处理加工为主到批流合一;从大需求/大项目/粗模块到碎片化需求,细粒度/灰度演进;从点到点的数据访问到数据的去中心化,统一数据访问;从传统企业数仓统一架构到领域驱动的设计开发,强调业务灵活性;从固定甚至僵化的数据模型到灵活变化的数据模型。
**3. 数据架构的趋势:**
* **碎片化需求、产品化设计、集中式产能。**
* **集中产能,提供去中心化的产线,应对碎片化的业务需求。**
* **核心概念:**
* **Data Mesh(数据网格):** 将数据去中心化,业务方自助使用。
* **Data Fabric(数据编织):** 将分布于不同应用的数据链接起来,实现数据编织。
* **湖仓一体:** 集成数据仓库和数据湖,支持多功能分析。
* **混合云环境:** 支持混合云和多云环境的基础设施。
**4. 为什么会出现Data Mesh:** 应对技术复杂度与业务复杂度的分离。康威定律影响下,需要新的组织架构模式。
**5. 针对数据产品的工业化敏捷生产和闭环优化:**
* 构建工业化敏捷生产体系,实现数据产品的全生命周期管理。
* **核心理念:** 数据用户负责制定目标、质量标准、架构规范,由业务数据团队自助定义产品。
**6. 数据Fabric - 数据应用的层次化架构:** 重点在于数据管理、数据安全、数据治理和数据的应用。
**7. 从数据仓库到云原生的“数据湖仓”:**
* **云原生数据湖仓的特点:** 具有云原生特性、存算分离、支持多种存储引擎、扩展性和灵活性、SaaS化服务等。
* **数据湖仓(Data Lakehouse)优势:** 云原生的数据湖仓具备了云原生、多云部署、云原生、容器化、存算分离、多种存储和计算引擎支持、扩展性和灵活性等优势,提供了统一的元数据和数据目录。
**8. 从数仓/数据湖到Data Lakehouse(数据湖仓):** 传统数据仓库、数据湖和Data Lakehouse在数据源、数据格式、数据量级、存储方式、可扩展性和计算引擎等方面的区别。Data Lakehouse在多个方面都做了优化和提升。
**9. 从数据架构的演进看大数据Hadoop生态的发展:** Hadoop生态从Hadoop 1.0到Hadoop 3.0,各个阶段对存储、计算、治理等方面的支持和演进。
**10. 湖仓一体的实现:**
* 湖仓一体的核心是灵活的“动态表结构”。
* **关键技术:** 开放表格式、ACID支持、灵活Schema、分区演进和不依赖特定存储。
**11. 分别适配各种数据存储方式,适应不同类型数据和场景:** 贴源、基础和历史数据HDFS;准实时分析和探索数据Kudu;海量明细查询数据HBase;对象存储Ozone等存储方式的特性。
**12. 云化数据湖存储: Apache Ozone高性能对象存储:** 解决混合云、多云部署的存储扩展性问题。
**13. 从技术到业务 - 数据战略的定位:**
* 战略工程化:通过技术驱动战略实现。
**14. 数据战略包含的常见内容:** 数据战略、数据治理、数据架构、数据标准、数据质量、数据安全、数据应用、数据生命周期。
**15. 数字化转型的指导纲领:** 重点关注十四五规划中的相关内容,包括加快企业数字化转型升级,支持大型企业打造一体化数字平台。
**16. 上云、赋智、用数:** 构建数据治理体系,保障数据的安全、质量和价值的充分发挥。
**17. 针对数据产品的工业化敏捷生产和闭环优化:** 数据团队在平台和应用上要做的业务自助和技术自洽。
**18. 数据驱动的新业务,也需要新的数据管理策略:** IT从运动员到组织者+裁判员,面临的挑战在于数据在业务和技术两个角度如何统一;Dev和Ops 两个流程如何统一;数据在成本和收益两个层面如何计算。
**19. 传统数据治理面临的挑战:** 数据标准嵌入的闭环,数据资产的实时状态和治理状态匹配,业务人员参与程度,数据资产的价值量化等。
**20. 充分自助和自治,提高业务参与度:** 强调数据治理平台化,促进业务用户对数据治理形成自发行为和习惯,实现去中心化治理,自助化体验。
**21. 面向领域、面向用户的数据标准和操作规范:** 数据治理要随着业务反馈逐步完善。
**22. Data Fabric中实现数据治理的五个工作:** 实时化、统一数据确权、元数据管理图谱化、数据资产的成本/价值盘点,数据评价的社区式民主协作。
**23. 数据驱动业务的战略考虑:**
* **Joseph Fuller的观点:** 战略的关键在于干掉假设。
* **核心竞争力的钻石模型:** 资源优势,需求,生产力方式,战略和组织。
**24. 基于数据建立竞争力的钻石模型:** 构建以用户为中心,以大数据为基础的商业模式。包括零售业务转型、研究业务提速、运营优化和法规遵从。
**25. 麦肯锡: 银行数字化金融创新的“3+1”战略:**
* 三个策略: 建设全新商业模式;以客户为中心的现有业务数字化转型;利用战略合作机会或者风投机会,进行布局。
* 一套基础能力。
**26. 例子:数字化转型之数据体系整体规划:** 数据推动业务模式创新的目标、平台+应用双轮驱动推动业务发展。
**27. 例子:数据体系规划:** 数据体系的规划架构
**28. 技术能力建设优先级分析与设定:** 结合业务价值、技术复杂度和风险等因素,对技术能力进行优先级分析和设定。
相关报告
-
11.25 MB 72页 数据治理顶层架构设计和数据战略制定实践案例分享(规划篇).pdf
-
21.08 MB 368页 运营之上:互联网业务的全局运营方法论与实践_9787121405075.pdf
-
14.84 MB 58页 爱分析-2023指标平台白皮书:指标平台方法论与实践指南 -.pdf
-
6.03 MB 75页 从点到面:企业智能化的路径、方法与领先实践.pdf
-
24.91 MB 41页 企业数据治理价值解读与场景实践白皮书.pdf
-
3.43 MB 74页 2025年商业银行数据经营管理实践报告.pdf
-
8.24 MB 28页 大模型数据安全:从测评到实时检测的全流程实践-申书恒.pdf
-
2.07 MB 43页 大数据基础平台建设方法.pdf
-
4.96 MB 48页 企业数字化转型数据中台解决方案.pdf
-
3.09 MB 24页 为2025制定可付诸实践的IT战略规划报告.pdf
-
11.74 MB 38页 公有云和互联网创新实践.pdf
-
1.23 MB 37页 人工智能风险治理报告(2024年)——构建面向产业的人工智能安全治理实践方案-中国信通院.pdf
-
24.31 MB 119页 新华社:2024更好赋能中国繁荣世界-新质生产力的理论贡献和实践价值报告.pdf
-
2.84 MB 128页 世界卫生组织:限制烟草、酒精、食品、饮料和母乳代用品的数字推销: 现有方法和政策方案.pdf
-
1.35 MB 27页 养老体系建设的海外实践和经验借鉴-湘财证券-202409.pdf
-
1.08 MB 24页 2024金融业IPv6部署和应用评估方法探索研究报告.pdf
-
480.34 KB 12页 CN113032595A-基于区块链的基本物质高光谱数据权益共享方法及系统.pdf
-
1.94 MB 79页 广东数字政府研究院:数据资产化实践指南(2024年).pdf