RLT 的 KV Memory 可能带来的两个挑战花了两个小时详细学习了一下RLT，如果累积的kv memory能够被证明是模型持续的能力提升来源之一。那么我们将会面临两个挑战： 1. 状态/记忆中心化，不像原有的llm api，上下文会越来越依赖服务商托管（重建会会有损耗）。 2. kv memory本身没有办法通过token花的方式存储的话，存储的空间成本会越来越高。 5 条评论点赞收藏28 天前
5 条评论
点赞
收藏