部落格

Microsoft Fabric 是一个端到端分析和数据平台，旨在将各种数据服务统一到一个统一的环境中。在这篇博文中，我们将探讨这个平台的功能，并研究它如何与数据网格的关键原则建筑学。

 

Fabric 的 SaaS 模型有望简化设置和管理，并提供自动集成和优化，从而降低在基于 Azure 的“传统”数据和分析架构上管理多项服务的复杂性和成本。因此，重点可能会从管理云服务转移到数据和分析资产。可以为不同的组织角色（数据工程师、数据分析师、业务用户）量身定制体验，确保每个团队成员都拥有有效工作所需的工具。通过 Copilot 集成，各种角色的生产力必将提高。

 

主要功能包括：

数据工程： Fabric 为数据移动、处理和转换提供了强大的工具，实现了无缝的数据集成和分析准备。
数据工厂：此功能允许高效的数据提取和编排，支持复杂的数据工作流和管道。
实时分析：它提供实时事件路由和分析，确保根据实时数据流及时获得见解和决策。
数据科学： Fabric 集成了先进的数据科学工具，促进同一平台内机器学习模型的开发、训练和部署
数据仓库： Fabric 包括可扩展的数据仓库解决方案，集中存储数据并支持高性能查询和报告。
数据湖屋： MS Fabric 的 Lakehouse 功能无缝集成了数据湖和数据仓库，实现统一的数据管理和分析。

支撑上述功能的关键技术特点
OneLake：也许是 Fabric 与之前的 MS 数据产品最重要的区别之一。所有数据都以 Delta 格式存储（微软的优化算法在最上面）。通过采用 OneLake 作为存储（后台采用 ADLS Gen2）并将 delta 作为所有工作负载的通用格式，微软为客户提供了一个在最基本层面上统一的数据堆栈。OneLake 中的单个数据副本可以直接为所有工作负载提供支持，以处理/查询由任何其他计算引擎（T-SQL、Spark）写入的数据。数据对象可以是

文件 – 对象存储、原始文件、参考文件等不需要表格格式
表 – 通过 Spark 或 T-SQL 创建的托管增量表

Evenstream 和 KQL 数据库支持流数据的提取，这些数据可以与 One Lake 和 Power BI 无缝集成，以实现实时洞察
Fabric SQL Engine 旨在在任何 OneLake 工件上高效运行，为跨数据仓库、Lakehouse 和镜像数据库的查询提供高性能。
Microsoft Purview 集成提供了组织数据环境的统一视图。元数据会自动捕获，并可在 Purview 数据目录中查看，从而便于轻松发现、增强数据沿袭和审计功能。
Azure ML Integration 支持读取和写回 OneLake 数据，从而减少开发和测试新模型的时间。通过利用与 OneLake 的集成，可以通过 RAG 增强 Azure AI Studio 的大型语言模型 (LLM)。

图片
OneLake：统一数据存储系统（改编自微软）

采用 Fabric 可能带来哪些好处？
微软委托 Forrester 开展的一项研究详细介绍了一家典型的全球性组织迁移到 MS Fabric 的成本和收益，该组织年收入为 50 亿美元，拥有 10,000 名员工（包括 40 名数据工程师和 400 名业务分析师）

 

针对“技术”用户预期的改进：

数据分析师可以在数据堆栈上“左移”并进行数据准备（包括清理、转换和聚合），而无需在工具之间切换。增强的数据治理将使他们对数据质量和可靠性更有信心。Power BI 中的 AI 功能将自动检测趋势、异常和关键驱动因素
数据工程师受益于一个统一的平台，该平台涵盖从提取（批量和实时）到语义数据模型。Purview 集成提供数据沿袭和审计功能。通过集成 Co-Pilot 和 VS Code，开发人员的生产力和体验得到显著提高，只需几秒钟即可部署集群。

该研究量化了以下改进：
提高了业务分析师的访问和产出20％。
数据工程生产力提高了25％。
作为 SaaS 产品，消除了基础设施成本。
将与搜索、集成和调试相关的数据工程时间减少了 90%。

 

对于业务用户而言，首先可通过无缝集成 Power BI、Excel 和 OneLake 数据来改善数据访问，从而获得优势。协作工作区和通信工具允许实时处理仪表板/报告并分享相关见解，从而提高业务绩效。分析团队和业务团队之间的协调性得到改善，从而加快上市时间。

 

三年内采用 Fabric 的相关成本包括：
与 Microsoft Fabric 相关的费用为 110 万美元
实施成本为110万美元。
持续维护成本为 352,000 美元

根据研究，采用后的总收益 NPV 为 979 万美元，投资回报率 (ROI) 为 379%！

从现实角度看 MS Fabric 转变数据网格实现的潜力
Sigmoid 参与了一项为期多年的数据和分析转型，该转型解决了数据架构的一些关键问题，例如使用旧数据工具、缺乏可扩展性和高成本。该客户向数据网格架构的演变基于“数据即产品”原则，该原则帮助营销和销售、供应和财务等职能部门将其数据（内部和外部）转换为资产。这由一个强大的架构支撑，如下所示：

 

图片
数据网格 | 逻辑架构

 

基于 Azure 的逻辑架构实现已经发展成为一个集中管理且可供所有领域利用的标准平台。

例如，财务领域利用此平台构建了数据产品，并将其组织成以下产品流和数据产品：

全球金融服务 > 记录到报告 | 采购到付款 | 订单到现金 > 生产力和运营 | 服务质量指标 | 福利追踪
公司报告 > 管理报告 > 集团运营领导力报告 | 供应财务报告 | 毛利率分析

每个数据产品都有单独的业务案例，并跟踪相应的成本和收益。由产品经理、架构师、数据工程师、数据可视化工程师、业务分析师和 Scrum 主管组成的团队负责将产品从构思阶段推进到部署和发展阶段。

 

尽管取得了很大成功，但这一过程并非没有遇到数据网格架构所有原则方面的挑战。我们认为 MS Fabric 及其统一的 SaaS 平台结构将减轻客户遇到的许多挑战。

 

下表说明了 MS Fabric 的功能如何适应并解决数据网格旅程中面临的特定挑战。

银行需要数据驱动的框架，以实现实时洞察、精确的压力测试和主动风险缓解，以确保运营弹性、监管合规性和强大的流动性管理。根据最近的一项调查，96% 董事会或首席财务官认为加强流动性风险管理是一项重要任务。然而，许多机构都面临着缺乏深厚领域专业知识的困境，这阻碍了它们有效解读和管理这些复杂风险的能力。

 

高质量流动资产 (HQLA) 在分类和保障流动性方面发挥着至关重要的作用，尤其是在市场压力、经济危机或监管审查时期。对于银行而言，制定稳健的战略以确保其满足流动性要求并在压力下保持偿付能力至关重要。然而，如果没有数据准备和技术敏捷性，机构可能会发现很难对这些资产进行分类、跟踪和利用，从而以最佳方式推动关键决策洞察。

了解 HQLA 及其重要性
HQLA（高质量流动资产）是指可以轻松快速地转换为现金且价值损失最小的资产，尤其是在财务压力时期。HQLA 是计算流动性覆盖率 (LCR) 的核心组成部分，巴塞尔协议 III 等监管框架要求银行维持该比率。这些资产对于确保金融机构在市场波动时拥有足够的流动性来偿还短期债务至关重要。

什么才有资格成为 HQLA？
HQLA根据其流动性和风险状况分为三个层级：

 

一级资产：这些资产流动性最强，风险最低，包括现金、央行储备和高评级国家的主权债券。这些资产不受任何折让或上限限制，这意味着银行可以将其完全计入流动性要求。

2A 级资产：包括高评级公司债券和抵押债券，这些资产必须满足特定的流动性标准。但是，这些资产会受到折让（通常为 15%），以应对压力下的潜在价值波动。

2B 级资产：此类别包括评级较低的公司债券和某些股票。这些资产风险较高且流动性较差，因此其折让率较高（25% 至 50%），并且只能占银行总 HQLA 投资组合的一小部分。
监管要求：巴塞尔协议III和流动性覆盖率（LCR）

 

为应对 2008 年金融危机而制定的巴塞尔协议 III 框架引入了流动性覆盖率 (LCR)，以确保银行维持足够的 HQLA 存量。LCR 要求银行持有足够的 HQLA 来覆盖 30 天压力期内的总净现金流出，从而为短期流动性中断提供缓冲。公式如下：

 

公式

巴塞尔协议 III 要求银行保持充足的流动资产，从而确保机构在市场动荡时期能够更好地履行其财务义务。不遵守 LCR 标准可能导致监管处罚，在极端情况下，可能会威胁银行的偿付能力。

 

HQLA 的意义超越监管合规通过维持稳健的 HQLA 组合，银行可以应对意外的流动性需求，而不必被迫以低价出售流动性差或不良资产，而这种情况可能会加剧金融危机。随着流动性风险继续主导监管议程，HQLA 在增强全球银行体系的弹性方面发挥着关键作用。

适应5G-6G HQLA分类变化
近年来，高质量流动资产 (HQLA) 的流动性分类框架经历了重大更新，尤其是美联储 FR2052a 报告要求的变化。这些更新旨在提高资产分类的粒度和准确性，确保银行能够更好地履行流动性义务并在金融压力期间保持稳定。

 

HQLA 分类的更新：FR2052a 和 6G 标准

 

2021年，美联储对FR2052a分类表进行了重要修订，这是流动性的关键组成部分风险管理报告。FR2052a 报告跟踪现金的流入和流出，其更新反映了对资产分类的更细致入微的方法，特别是对于 HQLA。随后宣布了 6G 要求，引入了更严格的指导方针。

 

新要求迫使银行在资产分类和流动性管理策略方面采取更详细和更动态的方法。更新后的框架引入了新的资产类别、细化了分类并增加了新项目，要求更精确的数据管理和合规工作。

 

资产类别的主要变化：

 

拟议的 FR2052a 资产类别现包含 49 个项目，新增 12 个项目。其中一些最重要的变化包括：

 

股票：
引入了更细致的股权持有分类，区分了普通股和基金份额。这一更清晰的分类有助于监管机构和银行更准确地评估流动性。

 

固定收益：
为中央银行发行的证券创建了新的类别，有助于更有效地识别优质流动资产。
PSE（公共部门实体）证券，特别是非美国证券，有自己的分类，反映了资产组合日益全球化。

市政证券（Munis）：
引入了非投资级市政债券的新分类，将收入义务市政证券与其他资产类别区分开来。这可以更深入地了解这些资产的风险和流动性状况。

 

抵押贷款：
引入住房抵押贷款支持证券（MBS）的新分类，区分机构MBS和非机构MBS。这有助于更清楚地了解与住房抵押贷款资产相关的风险敞口，增强流动性和风险管理能力。

新的 FR2052a 和 6G 要求的出台要求银行采取更积极主动的合规方法。银行必须投资于先进的数据管理，以确保准确、实时的资产分类和报告。HQLA 的精细度提高要求更详细的报告，而资产分类自动化则降低了出错风险，帮助银行满足监管标准并在不断变化的金融环境中保障流动性。

数据现代化在 HQLA 管理中的作用
银行需要数据驱动的解决方案，让数据从各种来源（市场价格、经济指标和内部评估）无缝流入统一平台，从而实时洞察流动性状况。这是数据现代化它使银行能够做出明智的决策，迅速响应市场变化，并确保其资产分类准确且符合不断变化的监管要求。

 

数据现代化工作流程 img
图 1. 数据现代化工作流程

 

实时数据采集及ETL流程
数据提取：现代化使银行能够通过实时提取管道从多个来源（市场价格、经济指标和内部评估）收集数据。
ETL 管道：使用 ETL（提取、转换、加载）流程，可以有效地转换和加载原始数据，为进一步分析做好准备。
规则定义和自动分类：制定规则，根据流动性特征自动进行资产分类，帮助银行遵守巴塞尔协议 III 和其他法规。

集中数据存储和质量保证
云架构：基于云的数据湖和仓库支持可扩展且可访问的数据存储，实现跨部门的无缝协作。
数据质量检查：自动质量检查通过检测不一致或缺失值来确保数据的准确性，这对于准确的资产分类至关重要。
用户验收测试 (UAT)：内置 UAT 流程以在分类之前验证数据质量和转换，从而最大限度地减少错误并确保可靠的数据洞察。

HQLA 分类的数据转换
清理和丰富：对原始数据进行标准化和丰富，以解决标识符不一致等问题，支持准确的 HQLA 分类。
自动和手动分类：数据根据流动性（1 级资产（例如现金或政府证券）或 2A/2B 级资产（例如公司债券））通过自动化进行分类，并通过手动覆盖实现灵活性。
监管合规性：准确的分类使银行能够生成可靠的 HQLA 报告，满足流动性覆盖率 (LCR) 和其他监管要求。

自动风险报告和绩效监控
自动报告：自动报告提供有关流动性状况的实时洞察，最大限度地减少手动数据处理并减少错误。
性能监控：持续监控确保 HQLA 管理流程顺利运行，并对数据质量或处理中的任何问题发出警报。
支持机制：支持系统及时解决数据不一致或系统问题，确保报告保持合规和准确。
通过实现数据基础设施和流程的现代化，银行可以提高 HQLA 管理的可靠性和灵活性。从简化的数据收集和分类到自动化报告和合规性，数据现代化可帮助银行满足快速变化的监管环境中的流动性要求。

要在消费品行业保持竞争力，就需要快速适应不断变化的消费者偏好、不断上涨的价格压力和持续的市场动荡。为了在这些挑战中蓬勃发展，企业必须采取提高效率和最大化销售机会的策略，例如完美的门店策略。贝恩公司表示，完美的门店策略可以将零售额提高每年 5%¹.

 

完美门店执行由生成式 AI 提供支持，并基于 AWS 构建，它提供了一种创新解决方案，使企业能够优化零售执行并实现收入增长最大化。最近，AWS 和 Sigmoid 的行业领导者齐聚一堂，共同探讨生成式 AI 如何彻底改变完美门店执行。

消费品行业的现状
市场份额压力：自有品牌的竞争和不断上涨的成本对品牌维持消费者需求和忠诚度构成挑战。
不断变化的消费者偏好：全渠道购物、对可信产品的需求以及创新促销正在重塑消费者的期望。
定价和促销挑战：通货膨胀和库存供应需要精确的定价策略和执行良好的促销活动。
这些挑战凸显了销售收入增长管理需要有效的解决方案，以优化门店执行并提高整体绩效。消费品公司。

实现完美门店执行的最佳实践
完美门店执行依赖于实施一个有凝聚力的框架，该框架通过利用先进的数据分析、严格的合规性和可操作的策略。为了实现完美执行，企业必须采用一套最佳实践，以确保整个零售业务的效率、合规性和增长。以下是使完美门店执行取得成功的基础支柱和关键实践。

 

洞察引擎
该解决方案的核心是一个强大的分析引擎，能够发现商店和 UPC（通用产品代码）级别的精细数据驱动模式。这种精确的实时可见性使组织能够迅速识别和应对挑战，同时利用增长机会。在此级别分析分类性能、销售趋势和库存准确性等关键指标的能力为决策提供了无与伦比的清晰度。

 

合规框架
该解决方案嵌入了严格的合规框架确保与内部目标和外部要求保持一致。它强制遵守关键维度，包括：

 

产品展示：保持货架定位标准，以最大限度地提高可见度和消费者参与度。
促销执行：确保促销活动有效部署并产生预期效果。
法规遵从性：符合当地和全球合规标准，实现无缝运营。
KPI 集成：与内部和外部绩效指标同步以监控和改善结果。

这确保了跨地区和零售渠道的运营一致性，从而降低了风险并优化了执行。

 

切实可行的建议
除了分析和合规性之外，该解决方案还针对运营和市场动态提供定制化建议。这些见解有助于在以下领域采取战略行动：

 

产品组合：确定最佳产品组合以满足消费者需求并最大限度提高货架生产率。
货架设计：增强货架布局以提高消费者参与度并最大限度地减少缺货。
促销优化：制定促销时间和形式策略，以最大化投资回报率。
库存管理：解决虚拟库存问题并提高库存补充准确性。
完美
存储执行的数据架构考虑因素
Perfect Store Execution 解决方案以强大的数据架构为基础，可无缝集成、处理和分析大量数据。该架构不仅可确保运营效率，而且还可通过 AWS 技术堆栈支持的高级分析提供可操作的见解。

 

数据集成和安全
该解决方案可使用 AWS Direct Connect 或 VPN 与各种本地系统（如 ERP、CRM 和 POS 平台）实现安全、无缝的连接。遵守严格的安全协议可确保数据的机密性、完整性和符合治理标准，为可靠的数据操作提供坚实的基础。

 

数据处理和质量管理
该解决方案由 AWS Glue 提供支持，可高效处理来自多个来源的数据的准备、转换和集成。主要功能包括：

 

无缝数据提取：集成来自不同来源（包括第三方提供商和遗留系统）的数据，以创建统一的数据集。
自动转换：实时协调不同的数据格式，确保跨平台的一致性和可用性。
数据质量管理：通过自动检查和修复保持高数据质量，实现可靠的分析和见解。

用于高级分析的生成式人工智能
Amazon Q 与 QuickSight 的生成式 AI 集成为分析可访问性带来了变革性方法。此层为用户提供了以下高级功能：

 

自然语言查询：使用户能够使用对话语言与数据交互，减少对技术团队的依赖。
动态可视化：立即生成数据的视觉表示来解决特定的业务问题。
人工智能驱动的执行摘要：从复杂的数据集中为决策者生成简洁、富有洞察力的摘要。
可定制的分析：允许用户创建和改进分析仪表板，而无需高级技术技能。
这些功能使数据访问变得民主化，使整个组织的决策者能够快速利用洞察，制定主动战略，并培养数据驱动的文化。完美门店执行解决方案提高了可见性，并提供了可操作的洞察，从而推动可衡量的业务影响。无论是解决货架可用性、优化促销还是提高合规性，该解决方案都为消费品行业的卓越运营树立了新的标杆。

成功案例
一家领先的财富 500 强 CPG 公司使用 AWS 和 Sigmoid 实施了一项解决方案，证明了生成式 AI 驱动的 Perfect Store 在提高销售业绩方面的有效性。