大模型时代,几乎所有应用软件都值得被重做一次。
日前,中关村科金正式发布了国内首个企业知识大模型、AgentGraph应用开发平台,以及“超级员工”系列AIGC应用,为企业提供开箱即用、成本可负担的专属领域大模型服务,这意味着,作为对话式AI技术解决方案提供商,中关村科金完成了基于大模型的重构与蜕变。
大模型的实践路径
大模型作为AI领域最重要的突破性进展之一,为各行各业带来了变革。几周前,Gartner发布了2024年企业机构需要探索的十大战略技术趋势。其中一半以上与AI有关,Gartner预测,到2026年,超过80%的企业将使用生成式AI的API或模型,或在生产环境中部署支持生成式AI的应用,而在2023年初这一比例不到5%。
生成式AI即AIGC,是大模型所具备的能力,现阶段通用大模型虽然具备通用能力,但是专业能力弱,而且也容易出现幻觉问题,所以大模型的落地需要通过领域大模型,如此才能使大模型走进千行百业。
中关村科金技术副总裁张杰博士指出,大模型能够低成本地、准确地理解非结构化文本,但基础大模型为了迁就通用性,在专业性方面比较弱,为企业引入领域大模型带来契机,中关村科金认为当前企业用大模型做知识中台是现阶段最 佳切入点。
我们知道大模型需要结合场景落地,张杰博士指出,企业知识中台并非孤立的场景,可以按照领域专业性和场景容错性两个维度划分,延展出更多的场景应用。比如ChatGPT专业性比较弱,是闲聊的场景,容错性也比较高。企业面向内部员工做的知识问答或者检索场景,以及营销文案场景,专业性强,容错性高。未来,对大模型输出的安全性和合规性有一定保障后,可以让它基于企业知识中台,与营销、服务、运营、生产、研发各环节系统打通。
当然,企业想要引入大模型应用无法一蹴而就,张杰博士建议企业使用领域大模型+领域知识库的技术组合方式引入大模型落地,这涉及一系列大模型微调、训练等技术动作,来把行业的know-how投喂给大模型使其具有行业专业能力。
张杰博士在2023大模型前沿论坛上介绍称,中关村科金根据不同企业体量和需求量,设计了通用大模型+提示工程、通用大模型+领域知识库+提示工程、领域大模型+领域知识库+提示工程三种不同的路径,渐进式满足企业对大模型应用的需求。
中关村科金开发了一体(企业知识大模型)两翼(领域大模型工厂和领域知识库工厂)技术底座,在此技术底座基础上形成智能营销、智能服务、智能运营、超级员工四类产品,构建面向企业全生命周期的人机协作平台。
其中,领域大模型工厂用来注入领域知识,把开源的基础大模型变成企业专属的领域大模型,这样可以很大程度上缓解基础大模型的幻觉问题,并且提升其专业性和合规性。领域知识库工厂,是在大模型和知识图谱的基础之上,基于传统的AI能力和多模态的能力,在大模型前后做了大量的预处理工作和后处理的工作,能被大模型随时调取。就像我们学习做笔记一样,通用大模型通过学习领域知识成为了领域大模型,但并非所有的数据都需要存储在大模型里,长尾的、低频的或者企业特性的数据存放到领域知识库工厂,并针对大模型对原始数据进行切分、转化等一系列加工,变成大模型可以随取随用的知识语料库。
此外,此次发布的AgentGraph应用开发平台作为连接一体两翼和四类产品的中间层,灵活适配十余款开源基础大模型,兼容性强支持一键切换,拥有50+应用模板,并将超过200+个AI能力组件化,可实现零代码、分钟级创建新应用,进一步降低客户创新成本、缩短开发周期。
中关村科金的变与不变
张杰博士介绍,实际上中关村科金仍然是对话式AI技术解决方案提供商的定位,仍然扎根于对话式AI赛道。这次的发布,是将企业原有产品以及积累的AI能力基于大模型重构后的集中呈现。今年年初接受IT168698&ITPUB采访时,张杰博士曾讲到,中关村科金重点关注对话式AI如何在企业服务赛道上落地,例如:通过AI生成营销文案、7*24小时在线回答客户咨询、模拟真实业务场景的新员工沉浸式陪练、以数字人的形态在线办理业务。
企业客户在对话式AI方面的需求,主要有以下几类:
1、 业务增长需求:大部分客户都会有此类需求,客户关注系统对最终用户的意向识别准确率,以及业务转化效果。此类产品有时是外呼机器人、有时是销售助手的形式。
2、 降本增效需求:大多出现在客服中心场景下,目标是替代坐席、降低投诉、或者是带来二次营销的机会。
3、 员工培训需求:有些线下连锁零售、劳动力密集型行业的客户,面临招工难、流失率高的挑战,如何使新员工快速获得技能、降低培训成本是他们重点考虑的问题,要求产品低成本的构建知识库、针对员工做个性化的复盘分析报告。
4、 平台建设需求:这类客户往往是金融机构或行业龙头企业,之前已经落地过多个AI项目,意识到要在平台层做能力拉通,避免“建烟囱”和“重复造轮子”。
如今基于大模型重构后,中关村科金完成了AIGC时代的蜕变:始终不变坚持原有对话式AI的技术路线,充分利用大模型能力升级原有的全系对话式AI产品,让他们变得更智能、更高效、更准确。
比如,在金融行业,中关村科金融合自研的企业知识大模型、智能客服等人工智能技术,为诺亚财富打造了智能知识库,通过集成诺亚财富的企业微信和旗下财富管理平台iNoah APP应用,以知识助手的形式为其员工和用户提供基于企业知识文档的智能问答查询功能,大幅提升客服系统问答意图识别和回复的准确率,减少文本客服70%以上的运营工作量,回答效果提升50%+。在营销领域,作为营销文案助手,可以赋能理财师撰写营销文案,原先10分钟一条营销文案,现在10秒即可完成。
在零售行业,某头部零售企业,以前在一个新场景构建外呼机器人,大概需要2-3周时间,且需要非常熟练的话术师才行。但现在,借助中关村科金构造好的领域大模型,只需大约1-2天时间就可以成功交付,能明显降低交付成本,加快交付效率。
张杰博士介绍到,客户为应用场景买单,不为生产工具买单,中关村科金提供整体解决方案。客户最终看的是准确率是否高,以及是否能降本增效,从上面例子可以看到这种提升是显而易见的。据悉,中关村科金企业知识大模型耗费10万卡天算力,整理出原子任务间的协同增益关系图,从而高效微调,避免灾难性遗忘,提升准确率。其模型灵活适配十多个基础大模型,指令数据可持续积累,实现单周迭代、单卡推理,为企业提供开箱即用的智能工具,加深业务与技术的耦合,提升生产力并降低成本,实现成本可负担。这在降本增效的当下,更具有重要意义,而且企业可以不必绑死在某一款基础大模型上。
近年来,中关村科金加速布局出海市场,组建了出海事业部,并在新加坡设立了分公司。目前,中关村科金已服务了捷安特、基恩士(中国)、玫琳凯、马来亚银行、开泰银行、富邦华一银行、南银法巴消费金融等知名企业。
当前,整体来看AIGC的落地还在初期阶段,很多企业都是先从边缘业务试点,然后逐步到核心业务上去应用。想要把大模型应用好,还需要企业自身语料库足够健康与准确,企业自身的数据治理能力也非常关键。大模型时代已来,还有更多场景值得去探索。