GPU、TPU、NPU

GPU 未被使用

请确保您已安装 NVIDIA CUDA 驱动程序

1. 安装 CUDA 11.7 驱动程序
2. 安装 CUDA 工具包 11.7。
3. 下载并运行我们的 cuDNN 安装脚本。

推理随机失败

加载 AI 模型会消耗大量内存，因此如果您在 GPU 或整个系统上拥有适量的 RAM，您有几种选择

1. 禁用您不需要的模块。仪表板 (https://:32168) 允许您单独禁用模块
2. 如果您正在使用 GPU，请为那些不一定需要 GPU 性能的模块禁用 GPU。
3. 如果您正在使用提供较小模型的模块（例如对象检测器 (YOLO)），请尝试通过仪表板选择较小的模型尺寸

某些模块，尤其是人脸比较，如果内存不足可能会失败。我们正在努力使系统更精简高效。

您拥有 NVIDIA 显卡，但在 Docker 下运行时，CodeProject.AI Server 仪表板上未报告 GPU/CUDA 利用率

请确保使用 --gpus all 参数启动 Docker 镜像

终结符

docker run -d -p 32168:32168 --gpus all codeproject/ai-server:cuda11_7

如何降级 CUDA 到 11.8

如果您在 Windows 上遇到 GPU 无法启动的问题，但您的 GPU 支持 CUDA 并且您已安装 CUDA，请确保您正在运行正确的 CUDA 版本。

打开命令提示符并输入

终结符

run nvcc --version

在 Windows 上，我们建议运行 CUDA 11.8。如果您没有运行 CUDA 11.8，请卸载您的 CUDA 版本，然后下载并安装 CUDA 11.8：https://developer.download.nvidia.com/compute/cuda/11.8.0/local_installers/cuda_11.8.0_522.06_windows.exe

CUDA 不可用

如果您拥有 NVIDIA 显卡，并且在 CodeProject.AI Server 日志中看到

仅文本

CUDA Present...False

您可以通过在终端中运行以下命令来检查您正在运行的 CUDA 版本

终结符

nvidia-smi

然后

终结符

run nvcc --version

如果您看到 nvcc --version 未知，则可能未安装 CUDA。您可以通过转到 Windows 设置，然后 应用和功能 并搜索“CUDA”来确认这一点，看看会出现什么。如果安装了 CUDA，您将看到以下内容