数据库 频道

生成式人工智能如何增强传统人工智能模型

  概述

  长期以来,人工智能 (AI) 一直被狭义人工智能所主导,狭义人工智能是为特定任务而设计的系统,例如欺诈检测、医疗诊断和推荐引擎。这些模型用于预定义的任务,例如欺诈分类或医疗诊断。它们通常使用结构化数据。此类模型非常有效,已被广泛用于金融领域检测欺诈行为,以及银行业评估是否发放贷款。

  这些模型的局限性在于它们不够“智能”。本质上,它们进行的分析只是后续决策的输入。它们缺乏情境感知、适应性和推理能力,而这些对于复杂环境中的决策都至关重要。

  人工智能模型在个人层面上广受欢迎。然而,在企业层面,许多运行的人工智能系统仍然是孤立的,本质上是“狭隘的”。

  将狭义人工智能与生成式人工智能相结合显然具有显著的优势,例如提高准确性、更深入的情境理解、增强的适应性和更好的可解释性。这些优势可以显著提高组织在欺诈检测和医疗诊断等关键领域的能力。然而,实际影响——高工程复杂性、大量基础设施投资、增加的运营成本、延迟问题以及监管合规方面的挑战——使得立即大规模采用具有挑战性。

  本文探讨了 GenAI 集成如何解决传统狭义 AI 系统的一些局限性。重点是如何使欺诈检测等成熟的应用程序变得智能。此外,我还开发了实用的集成方法,并概述了为企业组织创建智能 AI 代理的框架。

  一 狭义人工智能的演进:专业化但受限

  狭义人工智能的早期部署

  大多数早期的人工智能应用都是使用结构化数据集构建的机器学习模型,专注于分类。在欺诈检测中,机器学习模型主要是基于逻辑回归、决策树或深度学习的分类算法。这些算法是在结构化数据集上训练的。在推理时,这些模型评估交易并分配欺诈风险分数,但缺乏更深层次的上下文推理。

  其他案例包括使用 IBM Watson 等系统的医疗诊断,该系统使用结构化医疗数据和基于规则的推理来支持临床决策。此类模型无法处理非结构化数据(IBM Watson,2023 年)。

  这些和类似的应用程序有几个关键的局限性,包括对非结构化数据的处理有限、适应性小、解释能力弱。所有这些限制现在都可以通过将生成式人工智能与这些模型相结合来解决。这种建模方法称为混合人工智能。

  在深入探讨混合人工智能如何工作之前,让我们更详细地了解传统狭义人工智能模型的局限性。

  传统狭义人工智能的局限性

  从历史上看,狭义的人工智能应用主要基于分类方法和结构化数据。一些成熟的用例包括:

  • 欺诈检测:

  早期的欺诈检测系统使用结构化数据(例如交易金额、位置、时间戳)和基本分类算法(例如逻辑回归、决策树)来分配风险评分。这些方法缺乏有效分析电子邮件或客户通信等非结构化数据的能力。

  • 医疗诊断:

  IBM Watson 等诊断系统最初采用结构化临床数据集和预定义决策规则。这些系统在尝试解释临床记录或影像报告中的叙述内容时遇到了很大困难

  总体而言,传统狭隘方法的一些主要局限性包括:

  1. 非结构化数据处理能力有限:

    无法解释或利用电子邮件、病史或临床笔记等叙述性文本中的宝贵见解。此类数据需要进行大量预处理才能在结构化数据集中使用

  2. 适应性低:

    早期的人工智能系统比较死板,无法灵活处理训练数据或规则集之外的场景。每当遇到新情况或意外情况时,它们都需要手动更新。

  3. 解释能力弱:

    传统的狭义人工智能系统通常充当“黑箱”模型。这意味着它们会产生输出(例如欺诈检测中的风险评分或医疗保健中的诊断预测),但不会解释这些结果背后的原因。例如,欺诈检测模型可能会将交易标记为可疑,但不会提供决策背后的任何明确原因或证据,这使得分析师或最终用户难以信任并根据这些结果采取行动。同样,医疗诊断人工智能可能会对患者病情进行分类,但不解释其原因,这使得临床医生难以对其诊断做出决定

  二 生成式人工智能如何解决这些限制

  集成 GenAI,特别是像 OpenAI 的 GPT-4、谷歌的 Gemini 或 Meta 的 Llama 这样的模型,可以通过多种方式有效解决上述限制:

  1. 利用非结构化数据

  当传统的狭义 AI 模型将交易标记为潜在欺诈时,它通常仅提供数字风险评分。通过集成 GenAI,该模型可以进一步分析相关的非结构化数据,例如电子邮件、交易描述或客户服务互动。

  例如,LLM可以解读客户的电子邮件,以检测欺诈或异常行为的细微迹象,从而显著提高欺诈检测的准确性和深度。同样,在医学诊断领域,LLM可以分析临床记录和叙述,从而提供超越结构化实验室结果的更深入的患者状况洞察。

  2. 检索增强生成 (RAG)

  RAG 模型可以通过从各种内部数据库中检索额外的背景或历史参考案例来发挥作用。例如,在医疗诊断中,标记的病症可以触发 RAG 模型提取相关的临床研究或历史患者结果,以提供诊断推理。在欺诈检测中,RAG 可以检索类似的过去欺诈案例、监管指南或历史合规性数据,以提供支持调查过程的背景见解。

  三 现实世界的问题和应用

  这已经开始发生了吗?目前看应用相对薄弱,因为大多数这些应用都处于企业保密的严密保护之下。然而,我们可以从已发布的新闻/博客片段中获得一些信息,这表明这两种类型的人工智能的整合过程正在企业组织中进行。

  最早采用该技术的公司之一是 Visa 和 Mastercard 等全球支付技术公司。这些公司充当支付网络,促进消费者、商家和金融机构之间的交易,而不是直接发行信用卡。

  这些公司正日益面临复杂形式的无卡 (CNP)欺诈。欺诈类型多种多样,从全球支付公司的角度来看,影响最大的是枚举攻击。本文简要概述了这一复杂问题,以了解生成式 AI 解决方案如何帮助识别此类攻击。

  1.枚举攻击(卡测试攻击):

  在枚举攻击中,欺诈者使用自动化软件或机器人系统地测试大量被盗或随机生成的卡号。他们反复尝试在线进行小额交易或授权(在“无卡”环境中),以确定哪些卡号有效。一旦他们确认有效的卡详细信息,他们要么在暗网上出售这些信息,要么将其用于更大规模的欺诈性购买。

  因此,欺诈行为分为两个阶段:

  第 1 阶段(枚举):

  攻击者使用自动化软件,通过小额交易(通常只有几美分或几美元)快速测试数百或数千个被盗或算法生成的信用卡号,以检查哪些号码仍然有效。

  第 2 阶段(利用):

  一旦识别出有效的卡详细信息,攻击者就会使用它们进行更大规模的未经授权的购买或将其出售给其他网络犯罪分子以用于欺诈用途。

  这种形式的欺诈会产生巨大的运营成本和财务损失,因为公司必须迅速发现并阻止这些测试以防止进一步损害。对于支付公司来说,损失是巨大的。例如,Visa 估计这些攻击每年造成的损失超过 11 亿美元。进一步

  对于Visa这样的支付公司来说,遏制枚举攻击(信用卡测试攻击)至关重要,并且会产生财务影响。这是因为枚举攻击直接针对现有信用卡账户,同时快速测试数千张信用卡。这会产生大量交易,造成严重的运营中断和直接的财务损失。它还会影响客户体验,因为客户会因合法交易被拒、欺诈性收费或信用卡被冻结而受到干扰。

  根据美国联邦调查局的数据,2023 年美国消费者因网络诈骗损失了 125 亿美元(bloomberg.com,2024 年 10 月)。这凸显了 Visa 和 Mastercard 等支付公司利用 Gen AI 改进欺诈预防的巨大机会。

  2.生成式人工智能如何解决这个问题……

  用于实时欺诈检测的 Gen AI 增强型解决方案既困难又复杂。此外,大多数公司都对安全发展讳莫如深。因此,以下由 Visa/Mastercard 解决方案实施的解决方案的详尽阐述是基于公开信息和对 Gen AI 功能和流程的理解。

  让我们更好地理解这个过程……下面是其发生方式和过程的可能分解:

  •   狭义人工智能使用结构化数据标记潜在的欺诈交易(模型推理);

  •   GenAI 模型(针对特定欺诈的历史数据进行微调)使用非结构化上下文信息审查标记的交易;

  •   GenAI 为每个之前标记的风险交易分配详细的、实时的、情境化的风险评分;

  •   高风险交易触发进一步行动(阻止、进一步调查、通知客户)。

  现在让我们深入了解每个步骤……

  1). 狭义人工智能组件:

  原始欺诈检测模型(狭义人工智能)将使用结构化交易数据和分类算法,根据既定模式或阈值初步标记可疑交易。通常使用的数据类型包括交易金额、商家 ID/位置、交易时间和历史数据中已知的欺诈模式等。

  2). 生成式人工智能增强:

  GenAI 组件可分析额外的、可能非结构化的数据,例如交易描述、行为或细微模式。它实时为每笔交易分配动态、基于情境的风险评分或标记。

  Gen AI 模型是如何做到这一点的?本质上,第一步(狭义 AI)标记的交易随后会由生成 AI 组件进一步分析。该组件会检查更广泛的、通常是非结构化的数据集,以确定标记的交易是否确实存在欺诈行为,然后分配一个根据上下文判断的风险评分或标记。

  Gen AI 可能检查的一些附带非结构化数据可能包括以下类型的信息:

  客户举报欺诈活动或可疑收费的电子邮件或聊天记录。

  交易记录附带的详细描述或注释,通常由欺诈分析师手动输入。

  报告未经授权交易的客户支持互动记录或摘要。

  描述欺诈团队标记的异常客户行为或活动的文本记录(例如“用户同时从多个地理位置访问帐户”)。

  历史调查员记录了先前确认的欺诈案件的背景和模式的详细说明。

  2.1) Gen AI模型的微调

  通用 Gen AI 模型(例如 ChatGPT 或 Gemini)需要使用历史欺诈相关数据集进行微调,才能识别欺诈交易。这种微调是必需的,以使 GenAI 模型能够识别与欺诈活动特别相关的细微模式和异常。需要微调的数据类型可能包括:

  i. 历史交易描述(商户类别、产品类型)

  ii. 客户沟通(与交易相关的电子邮件、客户支持信息)

  iii. 行为模式(例如消费习惯或账户活动的变化)

  iv. 交易元数据(设备 ID、IP 地址、地理位置模式)

  v. 欺诈调查人员对过去欺诈交易的描述性叙述

  3). 推理(实时评分)

  经过微调后,Gen AI 模型便会投入使用。Gen AI 模型对标记交易的实际评估是推理步骤。在此,GenAI 模型实时处理新传入的交易,快速评估结构化和非结构化上下文,为每笔交易分配动态的上下文风险评分/标记。

  这种混合方法利用了狭义人工智能的结构化精度和生成人工智能的上下文适应性,并创建了一个更智能、响应更快、更有效的欺诈检测系统。该系统使 GenAI 能够快速解释复杂的交易模式,并比传统方法更快、更准确地阻止枚举攻击

  它为何有效(混合集成)

  该组合解决方案利用了:

  • 狭义人工智能的优势:

  • 有效处理结构化数据以快速标记交易。

  生成式人工智能的优势:

  分析大规模、潜在的非结构化数据集以寻找微妙的上下文模式,动态适应不断发展的欺诈方法,并为其预测提供更详细的推理。

  4).生成式人工智能如何解决这个问题……Visa 的案例

  Visa 推出了一款名为Visa 帐户攻击情报 (VAAI)的增强型解决方案,其中包含一项新功能,即VAAI 分数。Visa 的方法代表了通过生成式 AI 功能增强的狭义 AI 在现实世界中的实用集成。

  在欺诈者获取其支付信息后的五天内,33% 的已统计账户遭遇了欺诈。通过使用生成式人工智能(用于学习正常和异常交易模式的组件),Visa 的 VAAI 评分可实时识别复杂统计攻击的可能性,从而帮助减少欺诈,同时又不损害 Visa 性能和准确性的完整性。与其他风险模型相比,该工具能够将误报率降低 85%。

  Visa 解决方案如何运作?

  (1)狭义人工智能

  原始的欺诈检测模型(狭义人工智能)可能使用结构化交易数据和分类算法,根据既定的模式或阈值初步标记可疑交易。

  (2)生成式人工智能

  GenAI 组件会分析额外的、可能非结构化的数据,例如交易描述、行为或细微模式,以确定标记的交易是否确实存在欺诈行为。然后,它会分配一个基于上下文的风险评分,即 VAAI 评分。这有助于银行和支付发行商在发生损失之前标记并防止欺诈交易。

  5).生成式人工智能如何解决这个问题……万事达卡的案例

  万事达卡一直在快速投资使用 Gen AI 增强型欺诈检测系统,据报道,该公司已在 2024 年向人工智能和网络安全领域投资 70 亿美元。

  万事达卡的解决方案在基本结构上也与之类似,涉及将狭义人工智能模型与生成人工智能相结合,以创建更复杂、适应性更强、更有效的反欺诈系统。

  十多年来,万事达卡一直在广泛利用人工智能进行欺诈检测,其决策智能解决方案是最突出的用例。其最成功的大型语言模型之一已在万事达卡每年处理的约 1250 亿笔支付交易中进行了训练。该公司声称,它将检测率提高了 300%,帮助数千家网络银行(包括一些最大的全球机构)检测和预防欺诈。

  让我们将万事达卡的解决方案分解为狭义人工智能和生成式人工智能组件:

  (1)狭义人工智能组件

  万事达卡的初始解决方案决策智能主要是一个狭义的人工智能系统。它使用结构化交易数据(例如交易金额、位置、时间戳和商家代码)来识别潜在的欺诈交易。传统上,这些方法依赖于机器学习分类模型(例如神经网络、随机森林),这些模型评估每笔交易并根据已知的欺诈模式或预定义的阈值分配基本风险评分。

  (2)生成式人工智能增强

  万事达卡通过采用基于每年约 1250 亿笔支付交易进行训练的生成式人工智能 (LLM),大大增强了其欺诈检测能力。这种生成式人工智能模型可以捕捉传统狭义人工智能方法可能忽略的细微模式、交易叙述、客户行为和情境线索。通过分析大量详细的交易数据(可能包括商家描述、交易记录或行为异常等非结构化数据),生成式人工智能组件极大地提高了模型检测复杂、以前未见过的欺诈模式的能力。

  万事达卡表示,此次整合将使欺诈检测的准确率提高300%,从而大大减少其网络中的银行的财务损失和运营负担。

  四 开发智能 AI 代理的框架

  到目前为止,我们已经看到了如何将诸如欺诈检测之类的狭义人工智能与通用人工智能模型结合起来。我们还看到 Visa 和 Mastercard 似乎都开发了类似的混合人工智能解决方案。

  但其他企业能从这些例子中学到什么教训呢?下面将讨论一个高级框架,该框架可用于将狭义人工智能与通用人工智能相结合,甚至开发通用人工智能代理。

  1.明确识别现有狭义人工智能应用的局限性

  • 首先彻底分析您当前的狭义人工智能系统,以清楚地了解其弱点和排除项。同时更好地了解这些排除项对提高性能的影响。

  例子:

  • 欺诈检测:

  当前模型可能难以解释交易描述、电子邮件或细微的行为模式。

  • 医疗诊断:

  模型可能无法吸收来自非结构化临床记录或详细病史的宝贵见解。

  2. 为特定任务选择适当的生成模型和解决方案架构(LLM、RAG、微调)

  • 选择与已确定的局限性相符的生成式人工智能技术。

  • GPT-4 或 Google 的 Gemini 等通用 LLM 擅长从非结构化文本数据中提取和解释上下文。

  • 确定是否需要使用与狭义人工智能模型正在解决的特定问题相关的数据对通用 Gen AI 模型进行微调。这些数据可能是非结构化的,无法轻易集成到结构化数据集中

  • 检索增强生成 (RAG) 模型可以从庞大的存储库或数据库中提取相关的上下文信息,例如监管指南或类似的历史案例,以指导和增强决策

  3. 开发结合结构化模型和生成推理能力的混合人工智能代理

  将选定的 GenAI 组件与现有的结构化模型集成,以创建强大的混合系统。示例:

  • 欺诈检测:

  将结构化分类模型(例如随机森林、神经网络)与生成推理相结合,使代理能够标记可疑交易并进一步分析非结构化上下文数据(电子邮件、客户互动)以获得更深入的见解。

  • 医学诊断:

  将结构化诊断系统(基于实验室结果的分类器)与能够解析和合成详细患者叙述的 LLM 相结合,以产生更丰富的诊断评估。

  4. 实施迭代反馈循环以实现持续改进

  • 通过现实世界的互动和用户反馈不断完善 AI 代理。此迭代过程可确保代理在出现新数据和新场景时保持有效、准确和上下文相关性。

  • 定期审查结果和预测,然后将反馈纳入结构化模型和生成模型的训练和改进中

  5.确保透明度、可解释性并符合监管标准

  • 设计具有内置可解释性的集成 AI 代理,以清楚地传达决策或建议背后的理由,增强用户信任和法规遵从性。

  • 使用 SHAP 或 LIME 等工具进行结构化模型解释,并结合 GenAI 的自然语言解释功能。

  五 生成式人工智能与狭义人工智能相结合的挑战

  虽然 GenAI 与狭义 AI 的结合可以带来巨大好处,但仍有几个挑战需要克服。这或许可以解释为什么企业级 Gen AI 部署进展相对谨慎。其中一些原因包括:

  1.数据工程复杂性:

  将结构化的狭义 AI 模型与生成式 AI 相集成需要处理大量结构化和非结构化数据。公司在创建能够持续处理、集成和清理各种数据格式的强大数据管道方面经常面临挑战。为了解决这个问题,一些企业建立了大型内部数据工程团队,而其他企业则越来越多地求助于专业的第三方提供商或托管云服务(例如 AWS、Azure 或 Databricks)来高效管理数据操作。

  2.计算要求和延迟:

  生成式 AI 模型(尤其是大型语言模型 (LLM))需要大量计算,这通常会导致欺诈检测或医疗诊断等实时应用中出现延迟问题。公司通过优化模型架构、使用硬件加速 (GPU/TPU) 以及部署边缘计算或专用云服务来解决这些挑战。

  3.模型集成和可解释性:

  将结构化 AI 模型与生成组件相结合会增加确保系统保持透明和可解释的复杂性。

  确保混合系统中的监管合规性和清晰推理的挑战来自于将结构化(狭义)和生成式 AI 模型相结合时引入的复杂性。生成式模型(例如大型语言模型)通常充当“黑匣子”,因此很难完全追踪或解释如何做出特定决策。这种缺乏透明度可能会与 GDPR(数据隐私)等监管标准或银行和医疗保健法规等行业特定准则相冲突,这些准则要求可解释性和问责制。

  因此,公司必须大量投资可解释性框架(例如 SHAP、LIME)和治理工具,才能做出透明、可审计的 AI 决策。他们可能还需要专门的合规和治理团队,或与专门从事 AI 可解释性和合规性的第三方供应商合作,这会增加运营复杂性和成本。

  可扩展性和维护:

  这些混合系统的持续改进和维护需要持续的资源投入和专业知识,这可能会增加运营负担和成本。

  其含义十分重大:组织必须在基础设施上进行大量投资,或与第三方提供商(如 NVIDIA 或 Google Cloud)合作,以确保性能,同时不影响实时决策。

  六 结论:为什么企业做出决策很复杂..

  正如我们所见,混合模型将 Gen AI 的所有诊断优势与标记潜在病例的更快的窄带系统相结合。可能带来的好处是巨大的,但实际实施也可能令人望而生畏。这些混合模型涉及高工程复杂性、大量基础设施投资、增加的运营成本、延迟问题以及监管合规方面的挑战。所有这些都使得立即大规模采用变得具有挑战性。

  这些障碍或许可以解释为什么许多公司对这种集成持谨慎态度,他们往往选择逐步实施、小规模试验或与专业的第三方供应商合作,而不是立即在全组织范围内部署。从本质上讲,虽然混合人工智能集成代表着一个强大的未来方向,但要采用它,需要仔细平衡战略利益与巨大的资源和能力需求。

  我希望您喜欢阅读这篇文章,并了解如何将狭义人工智能模型与通用人工智能相结合,以提供更加强大和智能的解决方案。本文中,还展示了狭义人工智能将继续在企业运营中发挥重要作用,并且不会被通用人工智能立即取代。未来确实属于混合系统。另一个越来越明显的一点是,将通用人工智能集成到现有系统中是一个技术挑战和成本高昂的过程。这再次解释了为什么我们还没有看到炒作周期所暗示的大规模企业推出通用人工智能解决方案。

0