中转站的Gemini为啥都没缓存?
LINUX DO
,Linux.do,新兴的中文高质量技术社区,覆盖 Linux、编程、AI 等话题。
关注
哈基米的大便TPU缓存设计是按分钟计算的,无论是API还是反重力都是这毛病;
中转站缓存低是均衡没做好,一般是要同一个账号才能命中上下文缓存。
Gemini还有个主动缓存设计,如果需要的话,可以用generateContent或者Interactions API来手动管理。
添加评论
点赞
收藏
点踩
分享
查看原文
评论
?
参与讨论