部署以后,如何导入 GGUF 模型呢?

现在搞了 DeepSeek-R1-Distill-Llama-8B-Q5_K_M.gguf 离线模型,因为公司网络问题不能在线下载只能离线导入,目前好像不支持 GGUF 导入吗?

用ollama应该可以吧

目前支持这些模型对接方式。