我最近一直在研究各种途径，以便为团队的数据和流程提供更高级别的保证。这主要是由于数据的集成方面日益成熟，并且正在探索更多工具，例如 dbt，以从传统数据堆栈中发展我们的能力。我们发现，我们需要一种策略，以便通过正确的控制和框架更好地管理团队从不同数据集创建的指标，从而建立信任并减少数据债务。
这个故事汇集了我在研究中发现的管理指标的各个方面。但有一个问题，即如何在企业级别上有效地完成一些工作，而这在很大程度上取决于特定组织的数据成熟度。
一 指标和治理需求
1.什么是指标
指标是从原始数据中得出的数字指标或测量值，旨在跟踪和量化业务绩效的特定方面。它们提供了有针对性的可操作数据视图，例如收入增长、转化率或客户流失率。
指标通常是数据处理和转换的结果，可创建有助于指导决策和战略规划的简化视图。
2.什么是数据产品
数据产品涵盖向用户提供结构化和精选数据的整个系统或输出，例如报告、仪表板、API 或数据馈送。数据产品是向利益相关者提供的数据、工具和资源的完整包，使他们能够与数据交互以进行分析或决策。这些产品通常包括原始数据、处理后的数据和精炼数据的组合，并附带 BI 平台、数据目录或提供对基础数据集的访问的 API 等工具。
虽然指标可以解答特定的业务问题，但数据产品可以提供创建或访问这些指标的基础数据和工具。指标通常是大型数据产品的一部分，嵌入在仪表板或报告中，需要强有力的治理才能保持一致性和准确性。
3.控制和治理的重要性
随着数据量的增长，确保指标的一致性、可靠性和透明度变得至关重要。如果没有强大的治理框架，不同的团队可能会创建相同指标的各自版本，从而导致差异、低效和混乱。管理良好的指标系统可确保指标标准化、可审计并与业务目标保持一致。这种治理对于维护数据信任和防止误解至关重要。
二 数据债务的风险
当指标管理中的不良做法不断积累，导致指标支离破碎、不一致或过时时，就会产生数据债务。未经检查的数据债务会导致同一指标有多个版本，业务报告准确性存在不确定性，以及对数据缺乏信任。
解决数据债务需要严格的治理和流程来定期审核和更新指标，防止错误和低效率的积累。
三 定义具有治理能力的指标的策略
为了管理使用不同级别保证数据的多个团队并降低数据债务的风险，以下策略概述了如何在数据平台内定义和管理指标，并通过适当的自动化和标准化工具提供支持。
1.建立集中治理框架
数据治理机构：组建一个跨职能治理机构，包括来自各个团队(业务、数据工程、分析等)的关键利益相关者。该小组负责定义指标标准并监督指标管理。
数据保证模型：定义一个多层级的数据保证框架(例如铜牌、银牌、金牌)，根据质量、完整性和可靠性对数据进行分类。每个类别都应有一套明确的标准和用例，以便团队能够根据输入数据的适当保证级别构建指标。
2.指标注册和元数据管理
集中指标定义：使用合适的存储库或注册表作为所有指标定义的真实来源。注册表应存储每个指标的明确定义、所有权、计算逻辑、保证级别和数据源。
数据沿袭和来源：确保每个指标都与其底层数据源和转换逻辑相链接，从而允许团队追踪指标的得出方式。
元数据和可搜索性：确保存储库支持元数据标记和全文搜索，以便用户可以轻松地根据关键词、业务领域或功能类别找到相关指标。
版本控制：对指标实施版本控制，并记录详细的变更历史记录，让团队能够跟踪随时间推移的变更。某些工具内置了版本控制和审计跟踪功能，确保指标定义的变更透明且可逆。
3.指标保证模型
黄金标准指标(完全数据保证)：这些指标已通过数据治理机构的审查、验证和认可。它们用于关键业务决策，并且只能建立在高度可靠的(黄金)数据上。
银级指标(部分保证数据)：基于存在一些已知差距或潜在不一致但适合运营报告的数据构建的指标。应明确标注此类指标。
青铜指标(探索性/实验性数据)：仍在开发中或基于置信度较低的数据的指标。这些指标仅应用于探索性或非关键性报告。
4.度量所有权和责任
指定指标所有者：每个指标都应指定一名所有者，负责确保其准确性、相关性以及与业务目标的一致性。这有助于减少重复工作，并防止多个团队创建同一指标的冲突版本。
协作指标开发：确保团队在开发指标时进行协作，尤其是当指标跨部门或职能时。可以通过定期举办研讨会来协调定义和目标。
5.自动化和监控
自动执行数据质量检查：在数据提取和转换的不同阶段实施数据验证检查，以确保只有高质量的数据才能流入您的指标。这可能包括异常检测、缺失数据检查和准确性阈值。
指标审计和监控：定期审计和监控指标的准确性和相关性。这可确保过时或不正确的指标不会造成数据负债，并可进行更新或弃用。
6.使用护栏进行自助分析
定义护栏：提供自助分析指南和工具，让团队能够在遵守治理标准的同时创建自己的指标。这可能涉及使用预定义的数据模型和共享数据集来强制一致性。
创建指标模板：提供常见类型指标(例如增长率、平均值等)的模板，团队可以使用这些模板来加速开发，同时确保遵守批准的计算方法。
7.变更管理和文档
版本控制和文档：确保对指标、其定义或数据源的任何更改都记录下来、记录下来并传达给所有相关利益相关者。这可以减少混乱并提高透明度。
传达数据信任级别：在报告和仪表板中清楚地说明每个数据源和指标的保证级别，以便用户了解他们所使用数据的可靠性。
8.可见性和易访问性
为了使指标在各个团队中都发挥作用，它们必须易于访问且透明。以下是如何在保持治理的同时确保指标的可见性。
9.用户友好界面和集成
自助服务仪表板：将指标注册表集成到流行的 BI 和分析平台(如 Tableau)。这样，用户就可以将预定义、经过验证的指标直接拉入仪表板。
预建指标模板：为常用指标提供可重复使用的模板和小部件，允许用户使用标准化、受管理的指标快速构建仪表板。
API 访问：提供允许以编程方式访问指标的 API，使团队能够将指标集成到自定义报告或应用程序中。
10.用户友好界面
业务词汇表：在指标注册表中附加业务词汇表，以业务用户可以理解的方式提供指标的非技术定义。
数据探索门户：创建一个直观的 Web 门户或仪表板，用户可以在其中探索指标、深入了解详细信息并查看相关文档和沿袭信息。
工具提示和上下文信息：在 BI 工具或数据平台中，包含指标的工具提示或弹出定义，当用户将鼠标悬停在指标名称上时提供快速解释。
11.清晰的治理和基于角色的访问
基于角色的访问：根据角色控制对指标的访问，确保用户只能看到与其工作相关的指标，并且只有授权用户才能创建或修改特定指标。
审批工作流程：设置工作流程，让数据管理员或治理团队审核和批准新的或修改后的指标，然后才能广泛发布。这可确保只有经过验证的准确指标才能被更广泛的受众看到。
12.视觉层次和分组
按领域或业务功能组织指标：按业务领域或功能(例如财务、销售、运营)对指标进行分组，以便于查找。它们还可以按报告目的进行分类，例如 KPI、运营指标、探索性指标。
指标标签和标记：使用标签和标记帮助用户识别和确定关键指标的优先顺序，例如“关键 KPI”、“执行报告”或“临时分析”。
13.教育和培训
用户培训和入职：提供定期培训课程，以确保用户知道如何访问和解释指标，特别是对于新员工或具有不同数据素养水平的团队。
文档和指南：创建全面的文档和用户指南，解释如何访问指标存储库、如何解释特定指标以及如何在仪表板或分析中使用它们。
14.持续的反馈和沟通
通知系统：使用通知系统在关键指标更新或更改时提醒利益相关者。这可确保每个人都了解情况并避免对数据的误解。
跟踪指标债务：实施系统来跟踪需要改进或由于业务需求不断发展而变得过时的指标。应在未来治理周期中优先考虑这些指标，以防止数据债务不断增加。
反馈循环：实施反馈机制，用户可以请求新指标或报告现有指标的问题，例如数据准确性、实用性或差距。这种反馈应纳入治理流程，以不断提高指标的质量和相关性。
四 小结
将集中式治理框架与灵活的指标访问相结合，可确保组织避免数据负债并保持一致、可靠的报告。通过使用适当的工具和框架，组织可以自动化和强制执行指标定义，确保单一事实来源，同时使团队能够在预定义的规则内自主工作。
无论指标最终是采用集中管理还是以更分散的方式进行管理，强大的治理和易于访问可确保数据仍然是整个组织值得信赖的资产。
