DeepSparse: 通过剪枝和稀疏预训练，在不损失精度的情况下减少70%的模型大小，提升三倍速度
该论文提出了一种新方法，用于创建高稀疏性大型语言模型，通过稀疏预训练和高效部署，在保持高准确度的同时显著提升处理速度。方法包括结合SparseGPT剪枝和稀疏预训练，实现70%稀疏度下准确率完全恢复，尤其适合复杂任务。实验显示，使用Cerebras CS-3 AI加速器和Neural Magic的DeepSparse、nm-vllm引擎，训练和推理速度有显著提升。此外，量化稀疏模型在CPU上速度提升可达8.6倍。这种方法优于传统剪枝，为构建更快、更小的语言模型提供了新途径，并通过开源代码和模型促进了研究复现和扩展。
机器学习分布式框架Ray
Ray是UC Berkeley RISELab推出的一个高性能分布式执行框架，它比Spark更具计算优势，部署简单，支持机器学习和深度学习的分布式训练。Ray包括节点（head和worker）、本地调度器、object store、全局调度器（GCS），用于处理各种分布式计算任务。它支持超参数调优（Ray Tune）、梯度下降（Ray SGD）、推理服务（Ray SERVE）等。安装简单，可通过`pip install ray`。使用时，利用`@ray.remote`装饰器将函数转换为分布式任务，通过`.remote`提交并用`ray.get`获取结果。5月更文挑战第15天
使用TensorFlow进行深度学习入门
【5月更文挑战第18天】本文介绍了TensorFlow深度学习入门，包括TensorFlow的概述和一个简单的CNN手写数字识别例子。TensorFlow是由谷歌开发的开源机器学习框架，以其灵活性、可扩展性和高效性著称。文中展示了如何安装TensorFlow，加载MNIST数据集，构建并编译CNN模型，以及训练和评估模型。此外，还提供了预测及可视化结果的代码示例。