暂无个人介绍
2024年05月
swift可以选vllm加速。前面您的代码可能是从hf下载模型,不是从modelscope下载模型。 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”
eval用的token级别的acc,和您的不一样。评测您看下这个文档,https://github.com/modelscope/swift/blob/main/docs/source/LLM/LLM%E8%AF%84%E6%B5%8B%E6%96%87%E6%A1%A3.md 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”
参考以下链接 python3 -c "import torch;import torch_npu;print(torch_npu.npu.is_available())" 您在以下文档中找下哈,参考以下链接https://www.hiascend.com/document/detail/zh/canncommercial/70RC1/envdeployment/instg/instg_0085.html 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”
peft.utils.other.py 564行 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”
不用设置 环境变量 HF_HUB_OFFLINE=1 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”
数据集卡片上有代码。此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”
参考以下链接 https://github.com/modelscope/swift/blob/main/examples/pytorch/llm/scripts/qwen_14b_chat_int4/qlora_ddp_ds/sft.sh 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”
参考以下链接 https://github.com/modelscope/modelscope-agent/blob/master/docs/local_deploy.md 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”
这个脚本默认是多卡,您改成单卡试试。此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”
一般这种报错是显存不够。此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”
0.26.1 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”
您换7b模型试试,32b的跑训练显存不够,您先用小一些的模型跑通。 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”
重装一下torch看看。此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”
可以直接上传 不用压缩,这样传输稳定些,如果有问题lfs会对单个文件重试,另外这么大文件压缩和解压缩也比较耗时。此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”
50G应该是可以的。 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”
以前有开发者对比过tf版本的识别效果好一些。您用您的图片测试一下。 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”
swift拉最新代码安装一下。参考以下链接 https://github.com/modelscope/swift/blob/main/docs/source/LLM/%E8%87%AA%E5%AE%9A%E4%B9%89%E4%B8%8E%E6%8B%93%E5%B1%95.md 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”
一般对准确率不影响。 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”
有的,参考以下链接。 https://github.com/modelscope/modelscope-agent/tree/master/examples/tools 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”
是的,直接--dataset pai_identity.jsonl,ms-bench就好。 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”