社区论坛 - FIT2CLOUD 飞致云
使用vllm添加的模型,不能正确的输出思考过程
MaxKB
user-hwgcpofrlhi
2025 年2 月 26 日 09:06
1
微信截图_20250226165201
1527×328 53.3 KB
微信截图_20250226165127
2613×969 232 KB
微信截图_20250226171542
927×670 86.7 KB
玉树
2025 年2 月 26 日 12:30
2
判断思考的默认标签是这个,你可以调整下先随便设置一个标签,看模型完整返回的内容是怎样的。
image
914×465 29.7 KB
user-lz9fgau8062
2025 年3 月 22 日 16:01
3
vLLM使用deepseek r1 32b也遇到了这个问题,返回的输出是没有开始的标签的,只有结尾的
user-lz9fgau8062
2025 年3 月 23 日 04:03
4
已解决