maxkb设置ollama模型设置的参数输入文本长度num_ctx较大后提问导致每次都需要重新加载模型,速度特别慢,有什么解决办法吗?
这是正常的,num_ctx是ollama的启动参数,所以会重新加载。
这个参数在ollama的modolefile中配置就好,不建议在MaxKB中配置,MaxKB中配置模型本身的tokens参数就行。
maxkb设置ollama模型设置的参数输入文本长度num_ctx较大后提问导致每次都需要重新加载模型,速度特别慢,有什么解决办法吗?
这是正常的,num_ctx是ollama的启动参数,所以会重新加载。
这个参数在ollama的modolefile中配置就好,不建议在MaxKB中配置,MaxKB中配置模型本身的tokens参数就行。