【开发看过来】Ollama 自带docker-compose.yml 有误,无法正确识别到 GPU

系统:Ubuntu 2204
Nvidia-smi :ok
nvidia container toolkit : ok
nvidia-docker2 : ok

以上环境下,由 1Panel应用中心安装 Ollama可以正常运行,但无法正确识别到 GPU,如图:

但是根据docker命令安装可以正确
docker run --gpus all -d -v /opt/ollama:/root/.ollama -p 11002:11434 --name ollama ollama/ollama

对比容器



以上为应用中心部署,未能正确识别 GPU


以上为 DOCKER 命令部署,可正常识别 GPU 的

对比,应是 docker-compose.yml内未包含 GPU 内容导致,望能尽快处理,谢谢

后续版本支持 GPU 模式安装。

研究了两天,应该是目前还不支持和调用GPU 加速。

是的,近期版本会支持 Ollama GPU 安装模式

加油 期待GPU功能

目前使用 docker安装可以调用 GPU,具体看上面语法