看似不起眼的数据质量管理，正在悄然决定哪些AI项目能取得成功——而哪些又会悄然失败。

几年前，我坐在会议室里，一位零售业客户正在展示一个新的需求预测模型。仪表盘看起来非常令人印象深刻：图表清晰、预测精准，配色方案仿佛在宣告：“我们已经成功了。” 这时，仓库团队的一位成员提出了一个简单的问题——为什么模型预测一款八个月前就已经停产的产品需求会激增400%?

在场的没有人能回答这个问题。经过三天的排查，问题最终追溯到一个源系统：它从未将停产商品标记为“非活跃”状态。AI并没有做错什么。它只是完全按照训练要求行事：从给定的数据中学习模式。问题仅仅在于，数据在欺骗它。

过去十六年里，我一直为零售、银行、医疗和保险行业的企业构建数据平台。如果有一条教训不断被验证，那就是：一个优秀的AI模型与一个糟糕的模型之间的差距，通常与模型本身无关，而取决于其输入的数据。

关于AI，没人愿意谈论的那部分

每周都会有关于AI突破的新闻头条——某个能编写代码、诊断疾病或预测金融市场的模型。但鲜少登上头条的，却是远没有那么光鲜的部分：在为AI系统编写第一行代码之前，大部分工作都花在了数据的清理、整理和验证上。根据我的经验，这项工作通常会占用典型AI项目时间线的60%至70%。它既繁琐又乏味，却是决定AI项目成败的最大因素。

数据质量并非一个流行词。它是一门学科，且包含一些具体维度，任何商界人士即使没有计算机科学学位也能理解。

“劣质数据”的真实面貌

当工程师说数据“不干净”时，通常指的是几种具体问题之一。这些概念本身并不复杂——只是在出现故障之前，它们往往隐而不显。

完整性关乎信息缺失。试想一家医院的患者接诊系统，其中20%的记录中“过敏史”字段被留空——并非因为这些患者没有过敏史，而是因为该字段从未被设为必填项。基于这些数据训练的模型可能会得出“过敏情况比实际更少见”的结论，其后果不堪设想。

准确性关乎纯粹错误的信息。我曾与一家物流公司合作，由于旧表单中一个未被发现的漏洞，多年来“运输重量”字段一直被自动填入默认值“1”。训练数据中的数千份货运记录显示重量均为一磅，无论包裹里装的是手机壳还是冰箱零件。

一致性指的是同一事物在不同系统中被描述的方式不同。“NY”、“New York”和“N.Y.”都指同一个州，但除非有人告知，否则模型——甚至一个简单的SQL查询——都无法识别这一点。我曾见过客户数量出现两位数的偏差，仅仅是因为三个部门用三种不同的方式统计同一个客户。

及时性关乎过时的数据。一个基于48小时前交易数据训练的欺诈检测模型，就像是在追捕一个早已逃到三镇之外的窃贼。

数据血缘关乎了解数据的来源及其在流转过程中的变化。如果没有数据血缘，当某个数字看起来有问题时，没有人能及时追溯到源头并加以修正——这正是那个会议室里关于已停产产品的事件所发生的情况。

为何这个问题愈演愈烈，而非逐渐缓解

以下是当下情况与十年前数据质量讨论的不同之处。那时，劣质数据主要影响的是仪表盘或季度报告。一个错误的数字虽然令人尴尬，但影响范围有限。

生成式AI和大型语言模型彻底改变了这一局面。这些系统是通过海量数据进行训练的，这些数据来自数十个内部系统、外部数据源，有时甚至来自公开互联网。一个微小的数据不一致，不再只是电子表格中一个错误的单元格——它会被融入数十亿个参数之中，随后以一个自信、条理清晰却完全错误的答案重新浮现。我曾目睹一个客服聊天机器人兴高采烈地引用了一条退货政策，而该政策早在三年前就已失效，原因仅仅是没有人更新它所调用的知识库。

问题的规模随着雄心的扩大而增长。一家公司过去仅需从干净、管理良好的数据表中生成寥寥几份报告，如今却将数十个管理松散的数据源输入检索系统和AI代理中，而这些系统在决策过程中的人工审核环节已大幅减少。容错空间不仅没有保持不变——它反而缩小了，恰恰是在流经这些系统的数据量呈爆炸式增长之时。

什么方法真正有效

做得好的公司不会将数据质量视为在大型AI项目上线前的一次性清理工作，而是会将其融入系统架构之中。

首先，应在数据管道内部运行自动化的数据质量检查，而不是在报告发布前才作为事后补救措施仓促添加。例如，一条能对每条记录中运输重量恰好为“1”的情况进行标记，或能捕捉到缺失字段突然激增的规则，就能在数小时内发现问题，而非数月。

接下来是数据可观测性，本质上就是数据的健康监测，就像企业监控服务器运行时间一样。当源系统更改格式，或者某个字段开始出现大量空值时，相关人员应该在AI模型察觉之前就已知晓。

这需要明确的责任归属。数据不会自行管理，数据质量亦是如此。我合作过的最优秀的企业，都会指派具体人员，而不仅仅是一份政策文件，对特定数据领域的健康状况负责。

此外，这还要求对数据血缘保持诚实。如果一个团队无法在十分钟内追溯某个数字的来源，这绝非微不足道的不便，而是一种潜伏在AI路线图中的风险。

真正的启示

这一切并非为了阻碍AI的发展，而是为了确保当企业将AI系统推向客户、医生、贷款专员或供应链经理面前，有好的数据基础。

我经常想起那个零售预测模型。解决之道并非更智能的算法，而是一位数据工程师在源头正确标记了已停产的产品。这在产品发布会上鲜少被提及，但正是这样的故事让AI值得信赖。

归根结底，世界上最智能的AI就像一面镜子，它映照出所接收的数据——包括其中的缺陷、缺失以及一切。在探讨我们的AI变得多么智能之前，或许值得先问一个更低调、更有意义的问题：支撑它的数据有多诚实?

关于作者：Aditya Ranjan是某家《财富》500强领先食品杂货零售商的高级数据工程师，拥有超过16年的企业数据解决方案架构设计经验。