本地部署大语言模型,实测回复太慢了。
我看到有关帖子提到
docker run -d –gpus all --network host -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama:0.1.32
我是通过1panel的应用商店安装Ollama的,运行时如何启用GPU模式?
本地部署大语言模型,实测回复太慢了。
我看到有关帖子提到
docker run -d –gpus all --network host -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama:0.1.32
我是通过1panel的应用商店安装Ollama的,运行时如何启用GPU模式?
可以在后台操作,1panel部署的ollama也会以容器形式存在于服务器上,需要在服务器上重新启动ollama容器并且加上-gpus参数。