【开发看过来】Ollama 自带docker-compose.yml 有误,无法正确识别到 GPU

1Panel
1

系统：Ubuntu 2204
Nvidia-smi :ok
nvidia container toolkit : ok
nvidia-docker2 : ok

以上环境下，由 1Panel应用中心安装 Ollama可以正常运行，但无法正确识别到 GPU,如图：

1
11874×776 162 KB

但是根据docker命令安装可以正确
docker run --gpus all -d -v /opt/ollama:/root/.ollama -p 11002:11434 --name ollama ollama/ollama

2
21904×1174 422 KB

对比容器

4
41838×576 47.7 KB

5
51754×1262 198 KB

以上为应用中心部署，未能正确识别 GPU

3
31894×666 44.8 KB

以上为 DOCKER 命令部署，可正常识别 GPU 的

对比，应是 docker-compose.yml内未包含 GPU 内容导致，望能尽快处理，谢谢

2

后续版本支持 GPU 模式安装。

3

研究了两天，应该是目前还不支持和调用GPU 加速。

4

是的，近期版本会支持 Ollama GPU 安装模式

5

加油 期待GPU功能

6

目前使用 docker安装可以调用 GPU，具体看上面语法