请问，全部装好后，安装了8b的模型，测试的时候一直显示 回答中，查看后并没有调用gpu，求解答

1Panel
,
1

请问，全部装好后，安装了8b的模型，测试的时候一直显示 回答中，查看后并没有调用gpu
怎么调用gpu啊？不能用吗？
另外我想请问，如果购买了会员，有没有单独的会员群，是能解决问题的？

2

你说的是 1panel 还是 MaxKB 啊

3

maxkb，

4

我以 Ubuntu 举例。如果希望在 Ollama 当中使用 GPU 的话，除了 Docker 和 Ollama 本身之外，需要正确安装显卡驱动，并安装一些配套的支持软件。

从 APT 安装

  1. 添加配置文件
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
  && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
    sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

添加 nvidia-container-toolkit 软件库

sudo sed -i -e '/experimental/ s/^#//g' /etc/apt/sources.list.d/nvidia-container-toolkit.list
  1. 更新 APT
sudo apt-get update
  1. 安装 Toolkit
sudo apt-get install -y nvidia-container-toolkit

配置 Docker 使用 NVIDIA 驱动

  1. 配置 Docker
sudo nvidia-ctk runtime configure --runtime=docker
  1. 重启
sudo systemctl restart docker

配置 Docker Compose 文件

将原有的 Compose 文件中的 Deploy 替换为如下的部分，需要注意缩进对其

deploy:
    resources:
        limits:
            cpus: ${CPUS}
            memory: ${MEMORY_LIMIT}
        reservations:
            devices:
                - capabilities:
                    - gpu
                  count: 1
                  driver: nvidia

参考资料