在 Microsoft Fabric 上实现数据产品和数据网格

Microsoft Fabric 是一个端到端分析和数据平台，旨在将各种数据服务统一到一个统一的环境中。在这篇博文中，我们将探讨这个平台的功能，并研究它如何与数据网格的关键原则建筑学。

 

Fabric 的 SaaS 模型有望简化设置和管理，并提供自动集成和优化，从而降低在基于 Azure 的“传统”数据和分析架构上管理多项服务的复杂性和成本。因此，重点可能会从管理云服务转移到数据和分析资产。可以为不同的组织角色（数据工程师、数据分析师、业务用户）量身定制体验，确保每个团队成员都拥有有效工作所需的工具。通过 Copilot 集成，各种角色的生产力必将提高。

 

主要功能包括：

数据工程： Fabric 为数据移动、处理和转换提供了强大的工具，实现了无缝的数据集成和分析准备。
数据工厂：此功能允许高效的数据提取和编排，支持复杂的数据工作流和管道。
实时分析：它提供实时事件路由和分析，确保根据实时数据流及时获得见解和决策。
数据科学： Fabric 集成了先进的数据科学工具，促进同一平台内机器学习模型的开发、训练和部署
数据仓库： Fabric 包括可扩展的数据仓库解决方案，集中存储数据并支持高性能查询和报告。
数据湖屋： MS Fabric 的 Lakehouse 功能无缝集成了数据湖和数据仓库，实现统一的数据管理和分析。

支撑上述功能的关键技术特点

OneLake：也许是 Fabric 与之 whatsapp 号码数据 前的 MS 数据产品最重要的区别之一。所有数据都以 Delta 格式存储（微软的优化算法在最上面）。通过采用 OneLake 作为存储（后台采用 ADLS Gen2）并将 delta 作为所有工作负载的通用格式，微软为客户提供了一个在最基本层面上统一的数据堆栈。OneLake 中的单个数据副本可以直接为所有工作负载提供支持，以处理/查询由任何其他计算引擎（T-SQL、Spark）写入的数据。数据对象可以是

文件 – 对象存储、原始文件、参考文件等不需要表格格式
表 – 通过 Spark 或 T-SQL 创建的托管增量表

Evenstream 和 KQL 数据库支持流数据的提取，这些数据可以与 One Lake 和 Power BI 无缝集成，以实现实时洞察
Fabric SQL Engine 旨在在任何 OneLake 工件上高效运行，为跨数据仓库、Lakehouse 和镜像数据库的查询提供高性能。
Microsoft Purview 集成提供了组织数据环境的统一视图。元数据会自动捕获，并可在 Purview 数据目录中查看，从而便于轻松发现、增强数据沿袭和审计功能。
Azure ML Integration 支持读 完美门店执行：利用 aws 上的生成式 ai 解决方案提高销售效率  取和写回 OneLake 数据，从而减少开发和测试新模型的时间。通过利用与 OneLake 的集成，可以通过 RAG 增强 Azure AI Studio 的大型语言模型 (LLM)。

图片

OneLake：统一数据存储系统（改编自微软）

采用 Fabric 可能带来哪些好处？
微软委托 Forrester 开展的一项研究详细介绍了一家典型的全球性组织迁移到 MS Fabric 的成本和收益，该组织年收入为 50 亿美元，拥有 10,000 名员工（包括 40 名数据工程师和 400 名业务分析师）

 

针对“技术”用户预期的改进：

 

数据分析师可以在数据堆栈上“左移”并进行数据准备（包括清理、转换和聚合），而无需在工具之间切换。增强的数据治理将使他们对数据质量和可靠性更有信心。Power BI 中的 AI 功能将自动检测趋势、异常和关键驱动因素
数据工程师受益于一个统一的平台，该平台涵盖从提取（批量和实时）到语义数据模型。Purview 集成提供数据沿袭和审计功能。通过集成 Co-Pilot 和 VS Code，开发人员的生产力和体验得到显著提高，只需几秒钟即可部署集群。

该研究量化了以下改进：
提高了业务分析师的访问和产出20％。
数据工程生产力提高了25％。
作为 SaaS 产品，消除了基础设施成本。
将与搜索、集成和调试相关的数据工程时间减少了 90%。

 

对于业务用户而言，首先可通过无缝集成 Power BI、Excel 和 OneLake 数据来改善数据访问，从而获 尼日利亚号码 得优势。协作工作区和通信工具允许实时处理仪表板/报告并分享相关见解，从而提高业务绩效。分析团队和业务团队之间的协调性得到改善，从而加快上市时间。

 

三年内采用 Fabric 的相关成本包括：

与 Microsoft Fabric 相关的费用为 110 万美元
实施成本为110万美元。
持续维护成本为 352,000 美元

根据研究，采用后的总收益 NPV 为 979 万美元，投资回报率 (ROI) 为 379%！

从现实角度看 MS Fabric 转变数据网格实现的潜力
Sigmoid 参与了一项为期多年的数据和分析转型，该转型解决了数据架构的一些关键问题，例如使用旧数据工具、缺乏可扩展性和高成本。该客户向数据网格架构的演变基于“数据即产品”原则，该原则帮助营销和销售、供应和财务等职能部门将其数据（内部和外部）转换为资产。这由一个强大的架构支撑，如下所示：

 

图片

数据网格 | 逻辑架构

 

基于 Azure 的逻辑架构实现已经发展成为一个集中管理且可供所有领域利用的标准平台。

例如，财务领域利用此平台构建了数据产品，并将其组织成以下产品流和数据产品：

全球金融服务 > 记录到报告 | 采购到付款 | 订单到现金 > 生产力和运营 | 服务质量指标 | 福利追踪
公司报告 > 管理报告 > 集团运营领导力报告 | 供应财务报告 | 毛利率分析

每个数据产品都有单独的业务案例，并跟踪相应的成本和收益。由产品经理、架构师、数据工程师、数据可视化工程师、业务分析师和 Scrum 主管组成的团队负责将产品从构思阶段推进到部署和发展阶段。