“out of vocabulary”指的是模型在处理文本数据过程中，会遇到一些没有在词汇库中出现过的词汇，使得模型不能理解该新词。
https://zhuanlan.zhihu.com/p/690652980
所以是模型问题吗？
是的，所有模型遇到词汇库中不存在的新词汇时，都可能出现这个错误。
请问下，我是在尝试用vllm部署GPU模式下的bge-large-zh-v1.5向量模型也遇到这个问题了，但用CPU模式就没问题。模型本身是正常的，有什么方法可以解决吗？
“out of vocabulary”指的是模型在处理文本数据过程中，会遇到一些没有在词汇库中出现过的词汇，使得模型不能理解该新词。
https://zhuanlan.zhihu.com/p/690652980
所以是模型问题吗？
是的，所有模型遇到词汇库中不存在的新词汇时，都可能出现这个错误。
请问下，我是在尝试用vllm部署GPU模式下的bge-large-zh-v1.5向量模型也遇到这个问题了，但用CPU模式就没问题。模型本身是正常的，有什么方法可以解决吗？