问题来了，kubernetes为啥需要调用GPU？
K8s（Kubernetes）能够调用GPU，主要是因为它具备统一调度和分配集群资源的能力，从而能够管理以GPU为代表的异构资源。这种能力使得K8s在加速部署、提升集群资源使用率和保障资源独享方面发挥重要作用。
首先，通过容器构想，K8s可以避免重复部署机器学习等复杂环境，从而加速部署过程。利用容器镜像技术，K8s将整个部署过程进行固化和复用，提高了GPU的使用效率。此外，当GPU的卡数达到一定数量后，K8s的统一调度能力能够确保资源使用方做到用即申请、完即释放，从而盘活整个GPU的资源池。
其次，K8s通过Docker自带的设备隔离能力，可以避免不同应用的进程运行在同一个设备上造成互相影响，从而保障资源的独享。这种隔离能力确保了每个应用都能够独立地使用GPU资源，不会受到其他应用的干扰。
为了实现K8s对GPU的调用，通常需要安装Device Plugin并创建相应的GPU资源请求YAML文件。这样，K8s就能够识别并管理GPU资源，从而将其分配给需要的应用程序。
K8s成为管理异构资源、特别是GPU资源的理想选择
GPU
GPU，全称图形处理器（Graphics Processing Unit），是一种专门在个人电脑、工作站、游戏机和一些移动设备（如平板电脑、智能手机等）上做图像和图形相关运算工作的微处理器。它主要负责图形渲染、图像处理、视频编解码等任务。具体来说，GPU可以实时计算和生成屏幕上显示的图像，包括游戏中的三维场景、纹理、光照、阴影和特效等。同时，GPU也具备强大的图像处理能力，可以用于图像滤镜、后期处理、图像变换、颜色校正和图像合成等任务。
GPU的主要生产商有NVIDIA和AMD等。这些厂商通过不断的技术创新，为GPU赋予了更强大的性能和更多的功能。例如，GPU在硬件加速的视频解码和编码方面发挥着重要作用，能够解码高分辨率视频流，如高清（HD）和4K视频，并编码视频以进行流媒体传输或视频编辑。
GPU云服务器是基于GPU的快速、稳定、弹性的计算服务，具有实时高速的并行计算和浮点计算能力。这种计算服务突破了单机的资源限制，让更多的机器共同完成一项任务，提供了存储和网络的虚拟化，实现了资源的按需分配、高利用率以及高可用性。
在Kubernetes集群中调用GPU
要在Kubernetes集群中调用GPU，首先确保至少有一个节点上安装了NVIDIA GPU驱动程序和CUDA工具包，以便能够正常识别和使用GPU资源。随后，需要安装NVIDIA提供的Device Plugin，这是一个Kubernetes插件，用于扩展集群的资源调度能力，使其能够识别、管理和调度GPU资源。
安装NVIDIA Device Plugin后，Kubernetes集群将能够自动检测并跟踪可用的GPU资源。接下来，当您部署需要GPU支持的应用程序时，可以在Pod的配置中指定所需的GPU资源量。Kubernetes将根据这些请求将GPU分配给相应的Pod，确保应用程序能够充分利用GPU加速能力。
总之呢，为了在Kubernetes上调用GPU，您需要确保节点具备NVIDIA GPU驱动程序和CUDA工具包，并安装NVIDIA Device Plugin以扩展集群的资源调度功能。这样，您的应用程序就能够通过Kubernetes进行GPU资源的请求、分配和使用。
安装步骤
要在Kubernetes集群中使用英伟达（NVIDIA）GPU，你需要进行以下几个步骤：
- 确保你的集群中有支持GPU的节点：首先，你需要确保你的Kubernetes集群中有一些节点配备了英伟达GPU。这些节点通常被称为GPU节点，因为它们具备了GPU硬件加速能力。
- 安装NVIDIA GPU驱动程序：在GPU节点上，你需要安装适用于你的GPU型号的NVIDIA GPU驱动程序。这可以通过在节点上运行适当的安装脚本或使用容器运行时（如NVIDIA Docker）进行完成。下面在 Kubernetes 集群中安装 NVIDIA 的 Device Plugin。可以通过执行以下命令来安装 Device Plugin：
kubectl create -f https://raw.githubusercontent.com/NVIDIA/k8s-device-plugin/v0.9.0/nvidia-device-plugin.yml
-
- 安装NVIDIA容器运行时（NVIDIA Container Runtime）：NVIDIA容器运行时是一个专门为GPU加速容器工作负载设计的容器运行时。你需要在每个GPU节点上安装NVIDIA容器运行时，以便在容器内部正确管理和使用GPU。
- 创建包含GPU资源要求的Pod：在你的Kubernetes配置文件中，你需要定义一个包含GPU资源要求的Pod。这可以通过在Pod规范中指定
resources.limits和resources.requests字段来完成。例如，你可以指定所需的GPU数量和内存量。
下面是一个示例的Pod配置文件，其中包含了对一个GPU的需求：
apiVersionv1 kindPod metadata namegpu-pod spec containers namegpu-container imageyour-imagetag resources limits nvidia.com/gpu1 requests nvidia.com/gpu1
- 部署Pod到Kubernetes集群：将包含GPU资源要求的Pod配置文件部署到你的Kubernetes集群中。Kubernetes将会尽力将该Pod调度到一个具备GPU资源的节点上，并自动配置容器以使用GPU。
- 在容器内使用GPU：一旦Pod成功调度到一个拥有GPU的节点上并启动，你可以在容器内部使用GPU了。你可以在容器内运行需要GPU加速的应用程序或通过容器运行时提供的工具（如NVIDIA Docker）配置GPU的访问权限和环境变量。
- 通过执行以下命令来启动 Pod：
kubectl apply -f gpu-pod.yaml
确认 Pod 是否已经成功启动，并且 GPU 资源已经分配：
kubectl describe pod gpu-pod
