这篇 Pi 压缩的文章,太过于朴实无华,就真的只是写个 prompt 让 LLM 把上下文总结一下,然后保留前面的system prompt 和工具调用,在摘要后可能还会保留最近几次对话。

这种压缩是有损的,不知道是不是有机制会去历史会话检索上下文?

当然这确实是压缩上下文的最简单有效方案。

Pi (@pidotdev)
LLMs have a limited context window. When conversations grow too long this affects output quality, performance and cost.

New blog post from Earendil engineer @vegardstikbakke on how compaction addresses this and how we’ve implemented it in Pi.

Read the full post below Video
添加评论
点赞收藏
点踩分享查看原文
评论
?
参与讨论