我在论坛中找到了 maxkb连接vllm的大模型,无法输出思考过程 - MaxKB - 社区论坛 - FIT2CLOUD 飞致云文章,尝试添加reasoning为true;添加后,模型回直接输出思考内容,无法正确识别思考内容。会造成如下两个问题;
- 在思考后回多余\n标识无标识;
- 会造成洗发正文markdow格式错乱,常事别问code模式,已代码形式输出。
我在论坛中找到了 maxkb连接vllm的大模型,无法输出思考过程 - MaxKB - 社区论坛 - FIT2CLOUD 飞致云文章,尝试添加reasoning为true;添加后,模型回直接输出思考内容,无法正确识别思考内容。会造成如下两个问题;
能稳定复现吗?可以提交 Issue 反馈一下。