平均之路：从Attention到TTT

在文章《将Softmax Attention线性化为Gated DeltaNet》中，我们提供了一个将Softmax Attention线性化为Gated DeltaNet的参考过程，它演示了我们可以从Softmax Attention出发，逐步引入近似，最后得到一个线性模型。这个结果并不一定有多实用，但它能帮助我们更好地理解Linear Attention背后的近似与代价。

本文则提供一条新的线性化路线，它从分布推广出发，引入三步平均操作，建立起了Attention与TTT的近似联系，在这个大框架下，DeltaNet、MesaNet自然地作为它的特例出现。

推广定义

给定向量$\boldsymbol{q},\boldsymbol{k}_1,\cdots,\boldsymbol{k}_n,\boldsymbol{v}_1,\cdots,\boldsymbol{v}_n$，Softmax Attention定义为
\begin{equation}\boldsymbol{o} = \sum_{i=1}^n a_i \boldsymbol{v}_i, \qquad a_i = \frac{e^{\boldsymbol{q}\cdot \boldsymbol{k}_i}}{Z},\qquad Z = \sum_{i=1}^n e^{\boldsymbol{q}\cdot \boldsymbol{k}_i}\end{equation}