备案控制台

开发者社区

开发者社区 > ModelScope模型即服务 > 正文

ModelScope模型即服务在部署过程中遇到性能瓶颈的排查与优化

期待的结果：

提供可能的性能瓶颈原因分析；
给出具体的优化建议或方案；
如有必要，提供相关的代码示例或配置调整方法；
指导如何监控和评估优化后的模型性能。

展开

收起

智能计算老群群 2024-04-24 11:30:02 16 0

0 条回答

写回答

取消提交回答

相关问答

魔搭创空间使用vllm，如何不从modelscope下载模型而是加载本地上传的模型

10

0

0

ModelScope想使用自己的数据集微调LLM大模型的话自己的数据集的格式有什么要求吗？

6

1

0

modelscope-funasr中的pipeline能单独跑onnx的asr模型吗？

11

0

0

modelscope-funasr服务已经启动，杀了之后还会自动自动。这是怎么回事呢？

8

0

0

ModelScope的创空间的内容可以部署到本地进行使用吗?

16

2

0

ModelScope有创空间部署到本地的文档说明吗?

12

1

0

ModelScope系统提示部署失败怎么解决?

8

1

0

想告知用户最多字数,ModelScope的推理部署有啥建议么？

10

0

0

请问ModelScope有正式版本的模型吗？

14

1

0

ModelScope的16张 A100的卡还是爆显存OOM吗，开的 zero3优化?

7

1

0

ModelScope模型即服务

ModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单！

我要提问

热门讨论

热门文章

com/action/joingroup?code=v1是什么意思

ModelScope中，模型下载默认路径在哪个路径？

如何训练属于自己的“通义千问”呢？

ModelScope qwen7b、14b、72b lora微调分别需要的显存和cpu内存是多少？

ModelScope的Qwen1.5-14B-Chat需要多少大显存？

ModelScope从魔塔社区创建的阿里服务没有使用抵扣资源包而是付费实例。怎么处理？

我希望通过damo-YOLO训练1500*1500的图片

streamlit 生成链接无法访问，gradio只生成内网，无法生成公网

请问ModelScope中，怎么修改本地运行，模型自动下载到 c 盘下？

从魔塔领取gpu免费资源无法连接huggingface.co

展开全部

阿里云通义千问向全社会开放！

Llama 3开源！魔搭社区手把手带你推理，部署，微调和评估

千亿大模型来了！通义千问110B模型开源，魔搭社区推理、微调最佳实践

ChatGPT中文版杀疯了,已登录AI模型市场

Phi-3：小模型，大未来！（附魔搭社区推理、微调实战教程）

Qwen1.5开源！魔搭最佳实践来啦！

vanna+qwen实现私有模型的SQL转换

对云效流水线 Flow 的一些体验

LLama Factory+ModelScope实战——使用 Web UI 进行监督微调

自然语言处理Transformer模型最详细讲解（图解版）

展开全部

相关课程

更多

个性化语音合成模型微调

40

1

去学习

ModelScope社区Library技术架构介绍

174

1

去学习

相关电子书

更多

视觉AI能力的开放现状及ModelScope实战 立即下载

ModelScope助力语音AI模型创新与应用 立即下载

低代码开发师（初级）实战教程 立即下载