中转站的Gemini为啥都没缓存?

  1. 哈基米的大便TPU缓存设计是按分钟计算的,无论是API还是反重力都是这毛病;
  2. 中转站缓存低是均衡没做好,一般是要同一个账号才能命中上下文缓存。

Gemini还有个主动缓存设计,如果需要的话,可以用generateContent或者Interactions API来手动管理。

添加评论
点赞收藏
点踩分享查看原文
评论
?
参与讨论