如何让Ollama使用GPU运行LLM模型,在你们官方论坛的这篇文章里,配置apt源,这个apt源是在某个目录里手动更新?
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
&& curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list |
sed ‘s#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g’ |
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
还是把这段代码全部复制运行?如果是全部运行,是在ubuntu运行?还是在cmd里面运行?
- 更新源
sudo apt-get update
安装工具包
sudo apt-get install -y nvidia-container-toolkit
使用 GPU 运行 Ollama
docker run --gpus all -d -v /opt/ai/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
# 使用 Ollama 下载模型
docker exec -it ollama ollama run qwen:7b
还有这些代码,都是直接复制使用的吗?是在CMD使用?还是ubuntu里面?
我GPU很好,但是就是调用不了,谢谢一定要帮忙解决看一下我的问题,感谢