现在搞了 DeepSeek-R1-Distill-Llama-8B-Q5_K_M.gguf 离线模型,因为公司网络问题不能在线下载只能离线导入,目前好像不支持 GGUF 导入吗?
用ollama应该可以吧
目前支持这些模型对接方式。