[程序员] qwen 模型坑太多了:缓存命中后延迟反而增高,参数不兼容导致 langchain 调用报错
qwen3.8 max 模型带图流式输入后,在输出 tool 调用时输出内容里就会丢掉 role 字段。导致 langchain 不兼容直接没法用。
模型在 reasonning_effort 上采用的是 none 而不是 minimal 关闭思维链。
以及不支持 tool_choice required 写法。如果你的 langchain 用 OpenAI 的包调用这个模型,创建 agent 做 responseformat 就会被 fallback 到 tool_choice required 写法直接报错。
不止这一家还有些模型也有各样的问题,这就导致一个使用了大量不同形式的模型请求的项目如果想要换一个模型就要考虑到底能不能兼容适配。
严重增加迁移成本和风险。
为了可以实现安心轻松的替换模型。我专门做了一个网站
👉 https://llmapicheck.dev/
涵盖 性能测试,参数兼容,能力测试等等,完全浏览器本地运行,无任何数据进服务器。
然后我发现一个奇怪的现象。qwen3.8 max 缓存命中后的 ttft 反而增高了。有谁知道为什么啊🤔
评论
?
参与讨论