数据产品是数据管理领域的热门话题。各地区和各行各业的组织都在努力解决如何创建、管理和货币化问题。本文将深入探讨所谓的“数据产品团队”中所需的角色和相应的职责。
数据产品和数据产品团队
想象一下,你是一名厨师。在你上菜之前,你要从不同的地方收集食材,确保它们是新鲜和安全的,然后将它们结合起来,为你希望为服务的人带来合适的味道。数据产品有点像那顿饭。它由收集的数据组成,以便以特定方式使用。但在提供这些数据之前,需要对其进行组织、检查以确保其准确可靠,有时还需要使用分析或人工智能来补充额外的见解。最后,它被提供人们使用,可以是图表、报告或直接数据推送的形式。
为了确保这一切顺利进行,通常需要一个数据产品团队,这有点像餐厅的厨房工作人员。这是一群具有不同才能的专业人士,他们共同努力打造这些数据产品,如果其中任何一个缺失,事情最终往往会出错。这些人是想象菜肴的设计师,烹饪的开发人员,确保厨房设备平稳运行的技术人员,以及不断改进菜单的创新者。这在组织上通常很复杂,因为真正的企业数据产品团队需要来自不同业务部门和职能部门的人员。
角色
下图显示了一组在数据产品团队中发挥作用的典型角色。这是我见过的最常见或推荐的配置,但不言而喻,有许多不同的版本。不同的组织可能会为这些角色采用替代头衔或标签。即使在同一家公司内,团队的具体组成也可能因数据产品的性质而异。例如,某些需要广泛数据建模的数据产品可能会将该角色提升到团队中更核心的位置,而其他产品可能需要 AI 建模专业知识,而这在其他地方可能不需要。
角色之间的虚线表示主要参与合作伙伴。例如,解决方案架构师将直接与项目经理合作,他还将根据需要与企业架构师、平台/生态系统所有者和/或 EX 设计师合作,以确保最终的解决方案架构适合目的。它们还捕获了典型报告线的元素,尽管这也可能因组织而异。
让我们来看看这些角色及其典型职责,从图的中心开始工作。
核心层
数据产品所有者:此角色是数据产品成功的核心,包括所有权、愿景和战略方向。数据产品负责人精心设计愿景,确保产品提供价值并满足用户需求。他们负责组建和领导数据产品团队,管理产品积压工作,并充当利益相关者和开发人员之间的联络人。此角色的报告线各不相同,从数据团队到业务部门或数据域所有者。
项目经理/Scrum Master:为数据产品负责人服务,这个角色在编排项目的工作流程和时间表方面至关重要。在较小的设置中,项目经理和数据产品负责人可能是同一个人。该角色侧重于组织活动、管理截止日期和实施敏捷实践,其重要性在数据产品发布后逐渐减少。
数据科学家:并不总是一个必要的角色,但对于嵌入 AI、分析或数据科学的产品很重要。数据科学家利用从统计分析和机器学习中获得的见解来丰富数据产品,在分析数据、开发预测模型和通过其解释指导决策方面发挥关键作用。如果数据产品严重依赖 AI 或 ML,则 AI/ML 运营工程师可能会有一个单独的角色,专注于在生产中部署和维护机器学习模型的运营方面。对于严重依赖报表和仪表板的数据产品,可能会有专门的数据可视化专家以清晰、直观且具有视觉吸引力的方式呈现数据。
Data Domain Steward/Architect:该专家了解特定数据类型的性质。它们通常按数据域(如客户、产品或财务数据)进行组织。除其他事项外,它们确保数据产品不会重叠,每种类型的数据都有一个唯一的、受信任的或战略来源,并且摄取的任何数据都取自正确的来源。他们将这种专业知识注入到数据产品的设计和管理中。管家和架构师的角色可以是不同的,也可以是组合的。
数据治理专家:此人充当与数据治理团队的联络人,并确保数据产品符合组织策略和标准。根据这些策略和标准,职责可能包括确保将与数据质量、数据建模、元数据管理、数据编目以及隐私和安全相关的正确要求纳入设计中。
技术支持:在开发后发挥作用的角色,为数据产品的用户和消费者提供帮助。职责包括故障排除、系统维护和提供技术支持,重点是解决发布后的技术问题。
数据工程师:数据产品的基础构建者,为数据处理和存储创建必要的基础结构和管道。此角色涉及开发、测试和维护数据管理系统和应用程序。引入数据并使其可供使用需要数据工程,这些任务可能由不同的工程师处理。根据数据产品的特定风格,更具体的数据工程师可能是团队的一部分,例如 DevOps 工程师。对于依赖大量计算资源或云基础设施的数据产品,网络/基础设施专家可能具有特定角色。
解决方案架构师:负责支持数据产品的技术解决方案的总体设计。该角色包括设计可扩展的系统、集成新技术和维护技术标准,确保技术方面有效地支持数据产品的目标。
支持层
业务专家:在特定业务领域具有深厚知识的专家,为数据使用提供背景信息。职责包括为数据产品功能提供见解,并确保产品符合业务需求。
业务/数据用户:将数据产品应用于其工作并提供反馈以进行改进的最终用户。职责包括使用数据产品、报告其有效性以及提出改进建议。
数据建模师:设计数据模型以确保以优化的方式存储数据并与企业数据模型保持一致的人员。职责包括开发概念和逻辑数据模型,并与工程师合作开发物理模型。
数据质量专家:确保数据准确且可用的检查员。职责包括定义数据质量标准、执行数据质量检查和解决数据质量问题。有时,质量保证 (QA) 分析师/测试人员可以有一个相关的单独角色,以确保数据产品在发布之前可靠、功能强大并符合质量标准。
元数据管理专家:对于确保捕获、维护和民主化正确、最低要求的元数据至关重要的角色。此支持记录数据沿袭和对数据产品进行编目。
数据治理主管:负责监督数据治理策略及其实施的领导者。虽然不直接参与数据产品,但它们确保数据产品团队可以遵循的总体数据治理框架到位。
数据隐私和保护专家:该角色通常是专门的隐私或安全团队的一部分,负责审查数据产品的设计和要求,以确保符合相关策略、标准和法规。
数据库管理员:具有此角色的人员管理数据产品上游和下游的数据库。通常需要与他们接洽以建立连接、促进身份验证并确保互操作性。
UX 设计师/工程师:为数据产品设计用户界面和体验的工程师,确保用户友好性。仅当数据产品具有特定的 UI/UX 组件时,才需要此角色。
平台/生态系统所有者:管理数据产品所在的更广泛平台或生态系统的战略家。职责包括确保平台支持产品,并使平台开发与产品需求保持一致。
企业架构师:确保所有技术方面都与组织目标保持一致的大局思想家。职责包括使 IT 战略与业务目标保持一致,并指导系统和技术选择。偶尔会参与此角色,以确保数据产品适合企业架构的更大战略框架,特别是对于作为多个下游消费者的主要来源的大型战略数据产品。
边缘层
业务主管:为数据产品提供总体方向和资源。这个角色对于制定战略路线、获得必要的资金以及在组织内支持数据产品至关重要。
数据域所有者:监督特定数据域(如客户、产品或员工数据)的治理并制定战略。这个角色涉及识别和了解其领域内以及上游或下游的正确数据产品,以确保有效的数据管理和质量。
CDO/数据领导者:发挥关键作用,尤其是在刚刚开始认识到数据产品战略重要性的组织中。虽然不直接参与特定数据产品的设计,但 CDO 有助于建立数据文化,宣传数据产品的价值,并说服企业领导者投资于数据产品计划。
首席隐私/合规/风险官:作为组织的领导者,该角色不直接监督数据产品,但在制定隐私、合规和风险管理的愿景、政策和标准方面至关重要。他们的团队(包括隐私或安全专家)与数据产品团队联络,确保合规性和合乎道德的数据使用。他们可能会卷入升级的问题。
首席信息官/首席技术官:围绕信息技术和技术投资制定更广泛的公司战略和方法,影响数据产品开发。此角色提供了可用于开发数据产品的参考体系结构、可重用工具和模式,从而影响了开发和操作数据产品的技术框架。