部署用的是vllm,ollama就成摆设了。能否增加hugging face与modelscope的管理,另外模型能否单独存储,应用删除,连带着模型一起删了,再下载一次动辄几百个G,吃不消啊,官方vllm的配置太简单了,没有参数,无法调整,手动修改参数显得麻烦,把1panel的优势变成了麻烦
部署用的是vllm,ollama就成摆设了。能否增加hugging face与modelscope的管理,另外模型能否单独存储,应用删除,连带着模型一起删了,再下载一次动辄几百个G,吃不消啊,官方vllm的配置太简单了,没有参数,无法调整,手动修改参数显得麻烦,把1panel的优势变成了麻烦