12月3日,亚马逊云科技re:Invent 2024大会正式起航,本届大会主题“让理想发生”。回想10年前,re:Invent 2014大会主题为“新常态”,即云作为一种新的IT模式,已渐成常态。
从最新的发布来看,本届的“让理想发生”可以理解为亚马逊云科技正引领我们走向AI,加速走进GenAI时代。
在《周一晚间秀》开场环节,亚马逊云科技高级副总裁Peter DeSantis以“树根”为喻,阐述了亚马逊云科技的创新源动力,森林、树木繁荣茂盛的背后是深深扎根土壤的根系。亚马逊云科技的创新发展得益于公司文化,在扩展规模的同时,坚定地关注安全性、运营效率、成本和创新,为客户带来更高的价值、更低的成本和更好的体验。
基础架构架构层:计算、存储、数据库
1)计算:“云端芯”一体化提供强大的AI基础设施
从开始自研通用芯片开始,亚马逊云科技开创了自己的“云端芯”一体化路线并行稳致远,从云基础设施到AI 基础设施不断发展。
目前亚马逊云科技已经推出四大自研芯片产品组合包括:Nitro系统、通用芯片Graviton、AI训练芯片Trainium和AI推理芯片Inferentia。
亚马逊云科技于2018年推出第一代基于ARM架构的Graviton系列CPU芯片,最新的Graviton4代表了迄今最强大的Graviton芯片,相比Graviton3具有3倍的vCPU数量,适用于需求苛刻的企业工作负载。
“企业选择亚马逊云科技的一个重要原因是安全。把安全作为首要任务贯穿我们的所有工作:从数据中心的设计,到芯片的研发,再到虚拟化堆栈和服务架构的构建。安全始终是我们的核心考量,是一切工作的基石和出发点。”亚马逊云科技CEO Matt Garman说。
Nitro系统革新亚马逊云科技的服务器架构,引入硬件完整性的验证管控机制。为了确保整个硬件供应链的安全性,从芯片制造阶段开始,Nitro就对每个硬件组件进行加密认证,从根本上防止硬件层面的攻击和篡改。基于Nitro的安全和Graviton4的协同组合创造了AWS迄今为止最安全的计算产品之一。这意味着你的工作负载在硬件上运行,从制造的那一刻到每一秒的操作都经过加密验证,这是传统服务器和数据中心根本无法实现的。
随着大模型参数越来越多,对算力的要求呈指数级增长。构建AI基础设施需要构建更强大的服务器以及更高效率的服务器集群。
Trainium2专门为人工智能工作负载而设计,采用了先进的封装技术,极 大提高了能效和性能。基于Trainium2加速器,亚马逊云科技推出了全新的Trainium2服务器(Trainium2 Server),可提供20万亿次每秒浮点运算能力。
通过NeuronLink技术集成打造的EC2 Trainium2 UltraServer,是一个性能猛兽。由64个Trainum2加速器构成的Trainium2 UltraServer,可提供83.2万亿次每秒浮点运算能力。相比亚马逊云科技现有人工智能训练实例,UltraServer的计算能力高出5倍,内存容量则是现有规模最大者的10倍,是训练万亿级参数的大型人工智能模型所需要的超级计算平台。
在构建大规模AI集群方面,网络非常关键。亚马逊云科技开发出面向大规模人工智能集群的网络架构“10p10u网络”,供数十PB/s的网络带宽,延迟低于10微秒。
在大会开场之夜,LLM创业公司Anthropic联合创始人兼首席计算官Tom Brown宣布下一代Claude模型将在Project Rainier上训练,Project Rainier是一个集成数十万个Trainium2芯片的集群,运算能力是以往集群的5倍多。
此外,在GPU计算实例方面,EC2 P6实例基于英伟达Blackwell架构GPU,是上一代性能的2.5倍。
Matt还介绍了基于3nm先进工艺的Trainium3芯片,达到上一代的2倍性能。
亚马逊云科技始终痴迷于满足实际工作负载,而不是基准测试,这使得产品可以满足严苛的真实场景需求。
2)存储:推出新的S3存储桶类型和元数据服务
存储方面,亚马逊云科技在S3对象存储方面推出了Amazon S3 Tables和Amazon S3 Metadata。
Amazon S3 Tables是一种新的S3存储桶类型,对Apache Iceberg存储数据进行了优化,与存储在标准 S3 存储桶上的普通 Parquet 文件相比,Amazon S3 Tables服务的查询性能最高可提高 3 倍,每秒事务处理量(TPS)最高可提高 10 倍。此外,新服务能自动完成表维护的“繁重工作”。
Garman说,S3 完全重塑了数据湖世界的对象存储,将改变数据湖性能的游戏规则。
Amazon S3 Metadata是元数据服务,以帮助管理Iceberg环境中存储的大量数据,新服务将近乎实时地自动生成可查询的对象元数据,以帮助加快数据发现和提高数据理解能力,使客户无需再构建和维护自己复杂的元数据系统。元数据管理的自动化对数据量超过1PB的大型环境尤其有益。
3)数据库方面:推出两项新服务,强化跨区域一致性
数据库领域,亚马逊云科技延续精细化服务,提供可靠的产品服务,为企业提升效率、降低成本。
亚马逊云科技推出了两项新的数据库服务,最快的分布式数据库Amazon Aurora DSQL和Amazon DynamoDB global tables(全局表)新功能。
Amazon Aurora DSQL是专为下一代Aurora打造的无服务器分布式SQL的数据库,具有迄今为止最快的读写速度,可以在多个区域内独立扩展计算和存储,轻松实现99.999%的高可用性。
通过今天发布的全新Aurora DSQL采用了新技术和新工艺来克服分布式数据库面临的两大挑战:如何在地理位置不同的节点上以低延迟实现强一致性,以及以微秒级精度同步全球服务器。
为了在低延迟的情况下实现多区域强一致性,Aurora DSQL 将事务处理与存储解耦,Aurora DSQL只在提交时检查每个事务,并在提交时并行处理所有区域的所有写入,从而提供一个具有强大一致性和快速写入的多区域数据库。为了确保每个区域都能以准确的顺序看到每个数据库操作,Aurora DSQL使用了自己的时间同步服务,该服务在每个 EC2实例上添加了硬件参考时钟,将它们同步到与卫星连接的原子钟,从而在世界任何地方提供微秒级的精确时间。
Aurora DSQL与同样使用原子钟保证一致性的Spanner 进行了比较,对于一个基本的 10 次事务SQL语句,Aurora DSQL的读写吞吐量是其4倍。
Amazon DynamoDB第一个完全托管的无服务器NoSQL数据库,有了全局表新功能,该数据库现支持多区域强一致性,确保客户的多区域应用程序始终读取最新数据,而无需更改任何应用程序代码。
首发6款自研大模型,Bedrock推出三大更新
亚马逊总裁Andy Jassy带来了亚马逊云科技自研大模型家族,一口气发布6款大模型、预告2款大模型,这是Amazon Nova系列基础模型的首秀,亚马逊云科技提供的最 先进的新基础模型提供前沿智能和行业领先的性价比。
Amazon Nova Micro:文生文模型,低延迟低成本
Amazon Nova Lite:系列中最低成本快速处理图片、视频、文字输入的多模态模型
Amazon Nova Pro:性能和成本达到平衡的多模态模型
Amazon Nova Premier:系列模型中最强大的多模态模型,适用于复杂推理任务,模型蒸馏的最 佳教师模型(在 2025 年第 1 季度推出)
Amazon Nova Canvas:图片生成模型,内置安全控制
Amazon Nova Reel:视频生成模型,现已支持生成6秒视频,2分钟版即将推出
Andy Jassy透露,亚马逊云科技将在明年推出两款下一代Nova模型:“语音到语音”模型(Amazon Nova Speech-to-Speech)和 “任意到任意”多模态模型(Amazon Nova Any-to-Any),其输入和输出可以是文本、图像、音频或视频,也就是能用同一个模型执行各种任务。
生成式AI平台Amazon Bedrock宣布推出模型蒸馏、自动推理检查、多Agent协作三大全新功能,继续改变生成式AI时代游戏规则。
1)模型蒸馏,成本最高降低75%
模型的更新迭代非常迅速,版本众多,企业基于业务需求找到合适的模型,需要做很多工作。模型蒸馏(Model Distillation)是目前业内采用的一种解决方案。所谓模型蒸馏是将一个复杂的大型模型(通常称为“教师模型”)的知识传递给一个更简单的小型模型(通常称为“学生模型”),以提高学生模型的性能和效率,同时减少其计算复杂度和存储需求。
借助Amazon Bedrock Model Distillation,客户能够创建更快、更具成本效益的模型,只需针对给定用例选择最 佳模型,并从同一模型系列中选择较小的模型,即可以合适的成本提供其应用程序所需的延迟。目前支持来自Antropic、Meta和Amazon的模型。
与原始模型相比,经过蒸馏的模型速度最高提升500%,成本最高降低75%。
2)自动推理检查,防止幻觉
模型幻觉是行业共性挑战,亚马逊云科技在实践中发现自动推理检查可以有效防止幻觉。
通过Amazon Bedrock Automated Reasoning checks,可以检查模型所做的事实陈述是否准确,这基于可靠的数学验证,并向客户展示它是如何得出这一结论的。这能够防止因幻觉产生的事实性错误,提供纠正建议。
3)多Agent协作,更加高效
Amazon Bedrock Agents 现在支持多代理协作,构建、部署和编排多个Agent,协同处理复杂的多步骤任务,使构建和协调专业代理执行复杂工作流变得更加容易。
此外,基于强大的Tranium2服务器,亚马逊云科技推出了Amazon Bedrock低延迟优化推理。广受欢迎的Llama模型的Llama 405B和Llama 70B低延迟优化版本,在亚马逊云科技上展现出超越其他云提供商的出色表现。
此外,在本次大会上,亚马逊云科技还发布了下一代 Amazon SageMaker,满足客户所有数据、分析和 Al 需求。这包括新的Amazon SageMaker Unified Studio,它使您可以轻松访问组织中的所有数据,无论这些数据存储在何处,并在各种用例中使用最 佳工具对其进行操作。
在应用层,亚马逊云科技推出了Amazon Q Developer、Amazon Q Business等方面的创新,其中,Amazon Q Developer可自动生成单元测试,并帮助开发人员编写和维护代码文档。它可以生成第一个代码审查,供开发人员提交代码时使用。
Amazon Q Biz可帮助员工更快地找到公司信息,提高工作效率。Amazon Q 的新功能将为客户在Amazon Q Biz和QuickSight中的Q之间提供更好的洞察力。比如,员工可以使用Q生成每月业务回顾更新,将电子邮件和单据中的信息与来自QuickSight 的条形图和出色的视觉效果相结合,获得新的洞察。
小结:又一次科技盛宴
不得不感叹,Re:Invent 2024再次为大家呈上了丰饶的科技盛宴,让理想发生。正像亚马逊Logo一样,一个箭头从A到Z,这代表了一个无限的宝库,应有尽有。如今,亚马逊云科技也为企业、开发者提供了AI时代全面而强大的产品服务,大家可以按需取用,迈进属于自己的GenAI时代。