AI推理性能提升7倍 阿里云第八代企业级实例g8i来了!

简介: AI推理性能提升7倍 阿里云第八代企业级实例g8i来了!


今天,阿里云正式发布第八代企业级通用计算实例ECS g8i,基于阿里云自研「飞天+CIPU」架构体系和第五代英特尔至强可扩展处理器,g8i实例的整机性能最高提升85%,AI推理性能最高提升7倍,可支撑高达72B参数的大语言模型,帮助中小规模模型起建成本降低50%。同时新款实例还提供了端到端安全防护,为企业构建可信AI应用提供强有力的隐私增强算力支撑。


01

通用算力再提升,整机性能提升85%


作为企业级通用计算实例,ECS g8i实例在计算、存储、网络和安全等能力得到了全方位提升。


从关键参数上看,ECS g8i实例的L3缓存容量提升到320MB,内存速率高达5600MT/s,整机性能提升85%,单核性能提升25%;存储方面,ESSD云盘提供100万 IOPS,全面搭载NVMe,存储延迟低至百微秒;网络方面,PPS高达3000万,标配阿里云自研eRDMA大规模加速能力,时延低至8微秒;安全方面,ECS g8i实例支持可信计算与加密计算等特性,全球率先支持机密虚拟机TDX技术,构建了全面的安全防护。


在E2E场景下,ECS g8i实例可将MySQL性能提升最高达60%,Redis和Nginx的性能分别提升40%和24%,面向游戏、视频直播、电商、金融、医疗、企业服务等行业提供强劲的算力支持,满足其在数据库、大数据、AI推理等应用场景下对性能的严苛要求。


此外,ECS g8i实例还提供了多种硬件原生加速能力,包括QAT和IAA等加速器。阿里云通过自研技术,将硬件加速能力更细颗粒度透传至实例虚拟机,小规格的ECS g8i实例也同样具备加速能力。其中,依托于QAT原生加解密加速器,在压缩/解压缩场景下性能最大可提升70倍,加解密性能提升4倍以上。


02

为AI提速,可支撑72B参数的大语言模型


针对AI大模型推理在算力上依然面临诸多挑战,例如首包延迟受限于并行处理能力与浮点运算能力,吞吐性能则受限于内存带宽和网络延迟等,阿里云都进行了相当程度的优化,包括内置指令集从AVX512升级到了Intel AMX高级矩阵扩展加速技术,在int 8矩阵计算性能最高提升了7倍,可让生成式AI更快地运行。



基于AMX AI加速能力,g8i可更迅速地响应中小规模参数模型,运行知识检索、问答系统及摘要生成等AI工作负载时,起建成本下降50%。配合阿里云Spot抢占式实例,成本优势将进一步凸显,进一步降低AI推理成本。


与此同时,基于自研eRDMA超低延时弹性网络,阿里云g8i实例集群拥有超低延时网络和高弹性优势,可轻松支撑72B参数级别的大语言模型分布式推理,推理性能随集群规模接近线性加速,并可支持超过32batchsize的超大参数规模的AI模型负载,运行文生图、AI生成代码、虚拟助手以及创意辅助工具等AI工作负载。



以阿里云开源的Qwen-72B大模型为例,可在g8i实例eRDMA网络构建的集群实现高效运行,在输入小于500字情况下,首包延时小于3秒,每秒可生成7个Token。


03

为安全加码,助力企业构建可信AI应用


安全方面,阿里云在全产品线构建了端到端的安全防护,可保障数据存储、数据传输、数据计算的全流程安全。在最底层,基于CIPU的安全架构搭载安全芯片TPM作为硬件可信根,实现服务器的可信启动,确保零篡改;虚拟化层面,支持虚拟可信能力vTPM,提供实例启动过程核心组件的校验能力;在实例可信的基础上支持不同平台的机密计算能力,实现了运行态的内存数据隔离和加密的保护。



值得一提的是,此次升级的ECS g8i实例全量支持Trust Domain Extension TDX 技术能力,业务应用无需更改,即可部署到 TEE 之中,极大降低了技术门槛,并以极低的性能损耗为大模型等AI应用提供隐私增强算力,护航大模型的云上数据安全。



以Qwen-Chat-7B模型为例,启用TDX后,既确保了模型推理的安全可信,也保护了数据的机密性和完整性。


阿里云弹性计算产品线总经理张献涛表示,“ECS g8i实例的强劲表现,证明了以CPU为中心的计算体系同样具备加速AI推理的巨大潜力,公共云不仅可胜任超大规模的AI模型,也为AI应用加速落地开辟了新路径。未来,阿里云将不断深耕技术、持续产品创新,为企业提供更加稳定、强大、安全、弹性的计算服务,推动各行业的AI应用进入全量爆发时代。”


/ END /

目录
相关文章
|
18小时前
|
机器学习/深度学习 人工智能 测试技术
阿里云连续三年入围Gartner云AI开发者服务挑战者象限
Gartner正式发布了《云AI开发者服务魔力象限》报告(Magic Quadrant for Cloud AI Developer Services),阿里云成功入选,是唯一一家入围“挑战者”(Challengers)象限的中国厂商,并且保持连续三年入围。
|
1天前
|
人工智能 运维 监控
|
2天前
|
机器学习/深度学习 弹性计算 自然语言处理
【阿里云弹性计算】深度学习训练平台搭建:阿里云 ECS 与 GPU 实例的高效利用
【5月更文挑战第28天】阿里云ECS结合GPU实例为深度学习提供高效解决方案。通过弹性计算服务满足大量计算需求,GPU加速训练。用户可按需选择实例规格,配置深度学习框架,实现快速搭建训练平台。示例代码展示了在GPU实例上使用TensorFlow进行训练。优化包括合理分配GPU资源和使用混合精度技术,应用涵盖图像识别和自然语言处理。注意成本控制及数据安全,借助阿里云推动深度学习发展。
26 2
|
2天前
|
存储 弹性计算 数据管理
【阿里云弹性计算】ECS实例的冷热数据管理:利用阿里云 OSS 与 ECS 的高效协同
【5月更文挑战第28天】阿里云ECS与OSS协同,实现弹性计算服务的高效数据管理。ECS处理热数据,OSS存储冷数据,降低存储成本,提升性能。通过自动化策略实现数据自动迁移,优化实例性能,适用于电商图片、日志存储等场景。注意迁移策略设置和数据安全,为企业带来更大价值和竞争力。
15 1
|
3天前
|
存储 弹性计算 网络协议
【阿里云弹性计算】ECS实例性能测试报告:阿里云实例性能横向评测
【5月更文挑战第27天】阿里云ECS性能横向评测对比了经济型e系列、计算型c7a系列实例的CPU、内存、网络和存储性能。使用SPEC CPU 2017、Stream、iperf和fio工具进行测试。结果显示,计算型c7a系列在CPU和网络性能上突出,经济型e系列性价比高。所有实例内存性能良好,ESSD云盘提供出色存储性能。用户应根据业务需求选择合适实例。
19 0
|
3天前
|
存储 云计算 开发者
【预告】阿里云计算新品速递:HPC优化实例商业化发布
5月30日14:00,将推出专为云上高性能计算设计的HPC优化实例hpc8ae,旨在解决现有云计算基础设施对HPC应用优化不足的问题,提供经济高效的仿真解决方案,提升计算效率,加速业务创新。直播中,阿里云专家将展示实例在计算流体、有限元分析等领域的应用,并通过两个云上工业仿真Demo进行实践演示。参与直播还有机会赢取丰富礼品。
【预告】阿里云计算新品速递:HPC优化实例商业化发布
|
4天前
|
弹性计算 数据库 云计算
【阿里云弹性计算】云成本管理艺术:利用阿里云ECS预留实例节约成本
【5月更文挑战第26天】阿里云ECS预留实例助力企业有效管理云成本,提供预付费计费模式,降低高达70%的费用。适合长期稳定需求、可预测业务高峰和批量部署场景。通过预留实例,企业能确保资源保障、灵活调整并节约成本,实现成本优化与业务连续性的平衡。
22 0
|
5天前
|
弹性计算 监控 数据库
【阿里云弹性计算】企业级应用上云实战:基于阿里云 ECS 的 ERP 系统迁移案例
【5月更文挑战第25天】制造企业将面临资源不足、维护成本高和数据安全问题的ERP系统迁移到阿里云ECS,实现业务上云。通过数据迁移、应用部署、网络配置和性能优化等步骤,企业享受到弹性计算资源、高可靠性和数据安全优势,降低维护成本。阿里云提供24小时支持,助力企业数字化转型。此案例展示企业级应用上云的可行性,鼓励更多企业借助云计算实现创新发展。
20 0
|
5天前
|
存储 弹性计算 人工智能
【阿里云弹性计算】AI 训练与推理在阿里云 ECS 上的高效部署与优化
【5月更文挑战第25天】阿里云ECS为AI训练和推理提供弹性、可扩展的计算资源,确保高性能和稳定性。通过灵活配置实例类型、利用存储服务管理数据,以及优化模型和代码,用户能实现高效部署和优化。自动伸缩、任务调度和成本控制等策略进一步提升效率。随着AI技术发展,阿里云ECS将持续助力科研和企业创新,驱动人工智能新时代。
18 0
|
6天前
|
人工智能 网络协议 Linux
阿里云迎来AI网络领域两大重要突破
阿里云迎来AI网络领域两大重要突破
24 1
http://www.vxiaotou.com