从监控上看, 显存利用率(目前16G显存)一直很低, 如果降低显存配置的话, ModelScope推理的速度也会同比减少, 怎么合理的提高资源的利用率?
2000元阿里云代金券免费领取,2核4G云服务器仅664元/3年,新老用户都有优惠,立即抢购>>>
增加输入的批量大小(batch size)可以更有效地利用GPU的并行计算能力,但要注意不要超过显存容量。
ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352