Llama 3开源！魔搭社区手把手带你推理，部署，微调和评估
Meta发布了 Meta Llama 3系列，是LLama系列开源大型语言模型的下一代。在接下来的几个月，Meta预计将推出新功能、更长的上下文窗口、额外的模型大小和增强的性能，并会分享 Llama 3 研究论文。
千亿大模型来了！通义千问110B模型开源，魔搭社区推理、微调最佳实践
近期开源社区陆续出现了千亿参数规模以上的大模型，这些模型都在各项评测中取得杰出的成绩。今天，通义千问团队开源1100亿参数的Qwen1.5系列首个千亿参数模型Qwen1.5-110B，该模型在基础能力评估中与Meta-Llama3-70B相媲美，在Chat评估中表现出色，包括MT-Bench和AlpacaEval 2.0。
Qwen1.5开源！魔搭最佳实践来啦！
近几个月来，通义千问团队一直在努力探索如何构建一个“好”的模型，同时优化开发者体验。就在刚刚，中国新年前夕，通义千问团队分享了Qwen开源系列的下一个版本，Qwen1.5。
vanna+qwen实现私有模型的SQL转换
本文档介绍了如何在本地部署Vanna服务以使用Qwen模型进行text2sql转换。首先，通过`snapshot_download`下载Qwen-7B-Chat模型，并安装相关依赖。接着，修改`openai_api.py`设置本地LLM服务接口。然后，安装并配置Vanna Flask服务，包括自定义LLM服务、连接数据库以及修改端口。为了解决内网访问问题，使用ngrok或natapp进行内网穿透，提供公网访问。最后，处理了chromadb包中自动下载资源的问题，以防网络不佳导致的失败。通过这些步骤，实现了使用本地Qwen模型的Vanna服务。
Phi-3：小模型，大未来！（附魔搭社区推理、微调实战教程）
近期， Microsoft 推出 Phi-3，这是 Microsoft 开发的一系列开放式 AI 模型。Phi-3 模型是一个功能强大、成本效益高的小语言模型?(SLM)，在各种语言、推理、编码和数学基准测试中，在同级别参数模型中性能表现优秀。为开发者构建生成式人工智能应用程序时提供了更多实用的选择。
LLama Factory+ModelScope实战——使用 Web UI 进行监督微调
LLaMA Factory 是一个高效的大语言模型训练和推理框架，它通过提供一站式的 Web UI 界面和集成多种训练方法，简化了大模型的微调过程，并能够适配多种开源模型。
对云效流水线 Flow 的一些体验
Flow是阿里云的CI/CD工具，以其可视化界面和拖拽式构建流程简化了新手上手难度，同时提供代码检查、构建、测试及部署等功能。尽管对CI/CD概念新手仍有学习曲线，Flow的入门教程有助于理解和使用。Flow在性能和开放性上表现出色，支持多种语言和框架，能与阿里云服务集成。成本相对较低，适合与阿里云生态匹配的团队。与其他CI/CD工具比较，Flow在功能和性能上有竞争力，但最佳选择取决于团队具体需求。总体而言，Flow是值得考虑的CI/CD解决方案。
社区供稿 |【中文Llama-3】Chinese-LLaMA-Alpaca-3开源大模型项目正式发布
Chinese-LLaMA-Alpaca-3开源大模型项目正式发布，开源Llama-3-Chinese-8B（基座模型）和Llama-3-Chinese-8B-Instruct（指令/chat模型）
Llama3 中文通用Agent微调模型来啦！（附手把手微调实战教程）
Llama3模型在4月18日公布后，国内开发者对Llama3模型进行了很多训练和适配，除了中文纯文本模型外，多模态版本也陆续在发布中。
LLM大模型实战 —— DB-GPT阿里云部署指南
DB-GPT 是一个实验性的开源应用，它基于FastChat，并使用vicuna-13b作为基础模型, 模型与数据全部本地化部署, 绝对保障数据的隐私安全。 同时此GPT项目可以直接本地部署连接到私有数据库, 进行私有数据处理， 目前已支持SQL生成、SQL诊断、数据库知识问答、数据处理等一系列的工作。
社区供稿 | 中文llama3模型哪家强？llama3汉化版微调模型大比拼
随着llama3的发布，业界越来越多的针对其中文能力的微调版本也不断涌现出来，我们在ModelScope魔搭社区上，搜集到几款比较受欢迎的llama3中文版本模型，来从多个维度评测一下，其对齐后的中文能力到底如何？ 微调后是否产生了灾难性遗忘问题。
【RAG实践】Rerank，让RAG更近一步
本文主要关注在Rerank，本文中，Rerank可以在不牺牲准确性的情况下加速LLM的查询（实际上可能提高准确率），Rerank通过从上下文中删除不相关的节点，重新排序相关节点来实现这一点。
FunASR 语音大模型在 Arm Neoverse 平台上的优化实践
Arm 架构的服务器通常具备低功耗的特性，能带来更优异的能效比。相比于传统的 x86 架构服务器，Arm 服务器在相同功耗下能够提供更高的性能。这对于大模型推理任务来说尤为重要，因为大模型通常需要大量的计算资源，而能效比高的 Arm 架构服务器可以提供更好的性能和效率。
【RAG实践】基于LlamaIndex和Qwen1.5搭建基于本地知识库的问答机器人
LLM会产生误导性的 “幻觉”，依赖的信息可能过时，处理特定知识时效率不高，缺乏专业领域的深度洞察，同时在推理能力上也有所欠缺。
multi-agent：多角色Agent协同合作，高效完成复杂任务
随着LLM的涌现，以LLM为中枢构建的Agent系统在近期受到了广泛的关注。Agent系统旨在利用LLM的归纳推理能力，通过为不同的Agent分配角色与任务信息，并配备相应的工具插件，从而完成复杂的任务。
通义千问14B开源！内附魔搭最佳实践
9月25日，阿里云开源通义千问140亿参数模型Qwen-14B及其对话模型Qwen-14B-Chat，免费可商用。Qwen-14B在多个权威评测中超越同等规模模型，部分指标甚至接近Llama2-70B。阿里云此前开源的70亿参数模型Qwen-7B等，一个多月下载量破100万，成为开源社区的口碑之作。
大模型时代，还缺一只雨燕 ｜ SWIFT：魔搭社区轻量级微调推理框架
伴随着大数据的发展和强大的分布式并行计算能力，以预训练+微调的模型开发范式渐渐成为深度学习领域的主流。 2023年各家推出的大模型浩如烟海，如GPT4、Llama、ChatGLM、Baichuan、RWKV、Stable-Diffusion等。这些模型在达到越来越好的效果的同时也需要越来越多的算力资源：全量finetune它们动辄需要几十至上百G显存训练部署，一般的实验室和个人开发者无力承担。
手把手教你捏一个自己的Agent
Modelscope AgentFabric是一个基于ModelScope-Agent的交互式智能体应用，用于方便地创建针对各种现实应用量身定制智能体，目前已经在生产级别落地。
社区供稿 | Llama3-8B中文版！OpenBuddy发布新一代开源中文跨语言模型
此次发布的是在3天时间内，我们对Llama3-8B模型进行首次中文跨语言训练尝试的结果：OpenBuddy-Llama3-8B-v21.1-8k。
Stable Diffusion云端部署只需三步, 不吃电脑配置, 模型快速部署
Stable diffusion是一个基于Latent Diffusion Models（潜在扩散模型，LDMs）的文图生成（text-to-image）模型。具体来说，得益于Stability AI的计算资源支持和LAION的数据资源支持，Stable Diffusion在LAION-5B的一个子集上训练了一个Latent Diffusion Models，该模型专门用于文图生成。
AIGC技术解读：数据集、算法、模型和结果处理
本文深入探讨了人工智能生成内容（AIGC）背后的技术解读，包括数据集准备、算法选择、模型训练和结果处理等方面。通过对AIGC实现的核心环节进行详细说明，帮助读者更好地理解AIGC技术的原理和应用。
3张照片打造专属形象！酷蛙FaceChain解密个人写真开源项目，人人AIGC!
各类AI写真软件由于其精准的个人形象+精美的生成效果引爆了朋友圈传播，证件照满足了用户刚需，古装照等风格照满足了用户“美照”的需求。 达摩院开放视觉团队推出了开源版本，希望结合开源社区开发者的力量，可以让图片应用更有趣、更好玩、也有更多应用场景。
