状态栏显示还剩 33%,请求却超了上下文上限

Orca v0.5.5 上下文预算复盘:max_tokens 384K 与压缩阈值不一致造成的死区、pinned 通知让整轮无法压缩、对照 dsh 与 Codewhale 的做法、按思考强度设定回复预留并逐请求裁剪、以 API 用量为锚测量提示大小、按工具平衡单元切分当前轮、紧急压缩只采用真正变小的结果,以及实现中把同一份偏差扣了两次的弯路。

添加评论
点赞收藏
点踩分享查看原文
评论
?
参与讨论