数据库 频道

我们该如何面对数据偏见?

当你看到这张照片时,你会看到什么?

来源: NASA/JPL

大多数人会看到一张脸的照片。一张地外星球上的脸。令人震惊吧?类似人脸的外星物体。

下图是 21 年后拍摄的同一地质特征。还是看到了一张脸,还是看到了一座山?

来源:NASA/JPL/Malin Space 美国宇航局/JPL/Malin 太空科学系统

这张图片是比较著名的“视差”的例子之一。所谓“视差”,是指我们倾向于从模糊的图像或环境中看到图案,并赋予其意义,在本例中,就是在没有脸的地方看到了脸。由于人脸在人类进化史上的重要性,我们的大脑中已经有了这种硬连接。

在窗帘、衣服和织物上,你也能看到这种现象--在没有脸的地方看到脸。这是一种偏见。它来自于输入数据的缺失。缺失的信息碎片会被我们本能地填充进去,从而“理解”我们看到的东西。

有趣的是,观看第一幅图像的科学家们知道,他们收到的图像中缺少数据,即所谓的比特误差。它们是由于从火星向地球传输照片数据时出现的问题造成的。这些比特误差甚至造成了一些视觉元素,使该特征看起来像一张脸。

这些错误导致了一些有趣的反应,甚至出现了关于火星结构的整本书。这并不是我们第一次对火星表面可能存在的东西提出一些狂妄的说法。19 世纪后半叶,当天文学家通过望远镜观察火星时,他们把火星表面的线条看成是运河。

这源于数据的匮乏,也源于人类固有的特质--从世界中发现规律,并超越规律,让我们所看到的一切变得更有意义。

人脑也是如此。在阅读时,读者并不需要按照正确的顺序阅读整个单词。只要首尾正确,即使字母的位置不对,也能读出 lietrautre。不信?回去看看文学这个词。

为什么这很重要?它与数据偏见和当今的企业有什么关系?数据偏见,无论什么偏见,都存在于我们的生活中。它可能来自我们的天性(如上文所述),也可能是在我们的一生中培养出来的。因此,它也会进入技术领域。

数据偏见可能也确实会影响我们对业务或组织的理解,并导致许多地方出现盲点。无论是研究、安全或人口数据,还是遗漏的犯罪统计数据,抑或是最糟糕的故意遗漏,数据都会对企业和最终用户造成伤害。不公正、就业、财务不平等、错误定性、医疗事故,这样的例子不胜枚举。

更令人担忧的是数据偏见的影响范围。随着机器学习 (ML)、人工智能 (AI) 和其他数据相关技术的大规模使用,全球用户数量已达数亿,数据偏见可能造成的影响是广泛的,在极少数情况下甚至会危及生命。

仅仅认识到这一点并不能解决问题。Insight Avenue 最近进行的一项研究表明,虽然 78% 的业务和 IT 领导者认为数据偏见将成为一个更大的问题,但 77% 的受访者承认他们需要做更多工作来了解和解决偏见问题。只有 13% 的受访者正在积极努力,通过持续的评估流程来应对和消除数据偏见。

企业和组织必须采取行动。他们需要仔细评估其数据集,识别各种形式的偏见,并采取适当的应对措施,删除、更新、修改或保护数据,以获得对其业务和所处世界的最全面了解。同样重要的是对所使用技术的评估。数据平台必须能够捕捉结构化和非结构化数据,同时建立强大的保护机制来管理和保护数据。

此外,利用技术在机器规模上提供人类背景、意义和见解也至关重要。探索数据内部的联系并将元数据应用于数据源,有助于更准确地呈现数据。这些工作应在数据用于任何系统之前和之后进行,尤其是在人工智能系统中,因为在这些系统中,偏见放大的规模可能会导致不准确的结论。

企业需要信任他们使用的数据、数据驱动的决策以及为确保预期结果正确而采取的行动。如果不能充分解决数据偏见问题,可能会导致最终用户失去信任,从而可能影响企业的整体成功和可持续发展。

关于作者:Philip Miller是 Progress 公司的客户成功经理

0
相关文章