随着人工智能成为董事会层面的议题,各组织正争相追求成功成果,但实现成功需要周密规划。据Gartner研究显示,超过60%的人工智能项目未能达成业务服务水平协议(SLA),往往因数据质量低下、治理薄弱或缺乏情境关联性而被搁置。尽管人工智能/机器学习模型备受关注,但其效能本质上取决于输入数据的质量。企业若无法信任数据,便无法信任人工智能。
数据可观测性正是在此发挥作用,它超越了简单的监控或数据质量检查,在数据生命周期中持续评估其健康度、可信度和代表性,确保数据管道产出符合业务预期,并适用于训练和运行AI/ML模型。
然而数据可观测性同样陷入了炒作漩涡。Gartner《2025年数据管理技术成熟度曲线》指出,尽管可观测性概念迅速崛起,但当前正处于“幻灭低谷期”——企业正苦于将其转化为切实价值。核心启示在于:可观测性不仅是可购买的工具,更需作为专业体系与文化内化于数据实践中,方能与工具形成协同。
若企业希望正确实施数据可观测性并为人工智能成功奠定基础,需遵循以下五个步骤:
1: 传统意义上将可观测性视为AI就绪的核心,高质量数据意味着异常值已被清除,但这对当今的AI/ML模型远远不够。例如在分析中,我们可能清理异常值以生成供人类阅读的整洁报告。但训练AI/ML模型时,这些异常值、错误和意外事件至关重要——它们能帮助算法识别现实世界的完整模式谱系。
数据可观测性确保数据管道同时捕获代表性数据(预期数据与杂乱数据)。通过持续监测漂移、异常值和意外变化,可观测性构建反馈循环,使AI/ML模型能够负责任地学习。简言之,可观测性并非附加功能,而是构建AI就绪数据的基础实践。
2: 将可观测性嵌入DataOps实践——数据可观测性与DataOps结合时效果最 佳。正如DevOps将持续测试与监控融入软件交付,DataOps将测试、验证和治理嵌入数据管道本身。
可观测性不应依赖事后人工检查,而需实现持续自动化。这将使可观测性从被动的安全网转变为主动加速器,保障可信数据交付。
由此,每个新数据集或转换操作都能自动生成质量、血缘和性能元数据,管道可将回归测试和警报纳入标准流程。同时确保故障或异常在影响业务用户或AI/ML模型前被及时检测并标记。
3:自动化治理执行——尽管常被指责拖慢AI进程,治理始终不可或缺。法规要求、风险管控及业务SLA均要求对AI/ML模型输入数据实施情境化治理。
关键在于自动化。可观测性使政策以代码形式存在,而非束之高阁的文件。通过将数据契约和模式检查嵌入管道,可实时验证输入数据是否符合预期用途。漂移检测程序能自动标记训练数据与实际运营偏差的情况,而从个人身份信息处理到数据血统追溯的治理规则,均实现持续性执行而非事后补救。
自动化治理至关重要,它能建立信任——确保流入AI/ML模型的数据符合标准,同时不阻碍创新。
4: 组建跨职能团队——可观测性不仅是数据工程师的技术问题。当业务、治理和AI团队共享数据健康状况的统一视图时,其真正价值才得以体现。企业应组建由业务领域专家与技术人员组成的跨学科团队。
正如Gartner所称的融合团队,这类组合确保可观测性解决方案不仅能报告行数或数据时效性,更能关联业务价值。其核查内容包括:客户记录是否完整?运营关键绩效指标是否可靠?AI/ML模型是否基于代表性数据集训练?
跨角色嵌入可观测性机制可建立共同责任体系并加速反馈循环。当所有成员共享同一视图时,每个人都将为可信赖的成果贡献力量。
5: 关注业务影响,而非仅限技术指标——人们往往倾向于用纯技术指标衡量可观测性,例如警报生成数量、数据质量评分或监控表单比例。但真正的成功标准在于其业务影响。企业不应只关注数字,而应思考:是否减少了AI部署失败? 是否加速了洞察与决策?是否降低了监管或声誉风险?是否提升了高管与终端用户对AI/ML模型输出的信任度?
通过将可观测性指标与实际成果挂钩,数据负责人能将讨论焦点从“IT基础维护”转向AI成功的战略赋能。
为何“勉强可用”的数据时代已终结?
随着AI渗透至所有业务流程,数据必须始终具备可信度、代表性并接受持续监控。数据“够用就好”的时代已然终结,因为AI需要更高标准。数据可观测性正是实现这一目标的规范体系——它并非孤立解决方案,而是贯穿DataOps、治理体系及业务团队的嵌入式能力。
遵循上述五步的组织将发现:可观测性能加速AI落地、守护信任根基、释放价值潜能。否则将面临与多数企业相同的风险,AI项目在交付实质成果前便陷入停滞。
作者Keith Belanger现任DataOps.live现场首席技术官,拥有近30年数据领域经验。

