ubuntu安装了1Panel,然后在1Panel里面安装了ollama和maxkb,现在maxkb里面添加了一个7b的模型,运行模型特别慢,4090显卡完全没有运行,我想知道,怎么能让独立显卡来运算。希望有大神能帮我。

ubuntu安装了1Panel,然后在1Panel里面安装了ollama和maxkb,现在maxkb里面添加了一个7b的模型,运行模型特别慢,4090显卡完全没有运行,我想知道,怎么能让独立显卡来运算。希望有大神能帮我。

如果让Ollama 用 GPU 运行,请查看下面的文章:如何让Ollama使用GPU运行LLM模型 · 1Panel-dev/MaxKB Wiki · GitHub