RLT 的 KV memory 可能带来的两个挑战

花了两个小时详细学习了一下RLT，如果累积的kv memory能够被证明是模型持续的能力提升来源之一。那么我们将会面临两个挑战：

1. 状态/记忆中心化，不像原有的llm api，上下文会越来越依赖服务商托管（重建会会有损耗）。

2. kv memory本身没有办法通过token花的方式存储的话，存储的空间成本会越来越高。