视频介绍
2024年4月18-19日，2024中国生成式AI大会在北京JW万豪酒店举行，阿里云高级技术专家、阿里云异构计算AI推理团队负责人李鹏受邀在【AI Infra】专场发表题为《AI基础设施的演进与挑战》的主题演讲。
李鹏在大会上谈到，大模型的发展对计算体系结构带来了功耗墙、内存墙和通讯墙等多重挑战。其中，大模型训练层面，用户在模型装载、模型并行、通信等环节面临各种现实问题，在大模型推理层面，用户在显存、带宽、量化上面临性能瓶颈。
对于如何进一步释放云上性能？阿里云弹性计算为云上客户提供了ECS GPU DeepGPU 增强工具包，帮助用户在云上高效地构建AI训练和AI推理基础设施，从而提高算力利用效率。目前，阿里云ECS DeepGPU 已经帮助众多客户实现性能的大幅提升。其中，LLM微调训练场景下性能最高可提升80% ，Stable Difussion 推理场景下性能最高可提升60%。
相关视频
热门文章
热门讨论
-
云服务器ECS安全组实践(一）25405
-
VPC实例公网IP转弹性公网IP功能23614
-
【F3使用场景】F3经典使用场景18418
-
标记(TAG)您的阿里云ECS资源12646
-
ECS 按量付费VPC实例停机不收费FAQ9358
-
按量付费实例批量更改实例带宽8180
-
ESS 控制台发布新功能：创建多可用区专有网络伸缩组、支持伸缩组内 SLB 挂载不同网络类型 ECS 实例6177
-
2024年阿里云免费云服务器及学生云服务器申请教程参考10369
-
ECS主动运维2.0，体验升级，事半功倍4295
-
弹性伸缩Auto Scaling产品全面升级，轻松应对业务负载变化，张弛有度，收放自如！3966
展开全部
-
发送excel文件，在钉钉上打开报错误。OfficeImportErrorDomain错误9124844
-
【智慧城市】关于政务外网中的vpn1区和vpn2区的网络互通问题715
-
宝塔在阿里云服务器放行了相关端口。为什么还是无法访问？2421
-
后端接口异常怎么办2031
-
ECS同时连接数的定义是什么3030
-
无法通过公网IP访问Web网页1801
-
nginx 部署ssl，ip地址可以访问，域名访问不了怎么回事？4883
-
安装PHP的时候出现no match for argument：php-mysql php-imap2790
-
如何修改幻兽帕鲁联服务器中的配置参数，如经验值倍率等？16314
-
怎么开学校发票？595
展开全部
