连续化 Softmax Attention

Softmax Attention想必大家已经不陌生，它是定义在有限向量集合下的一个加权混合算子。近日，论文《Continuum Attention》提出了一个很有意思的想法——将注意力连续化。这让笔者想起，之前在《为什么DeltaNet要加L2 Normalize？》介绍的EFLA也是将离散RNN连续化，然后又重新离散化，得到一些有意思的结果，类似的还有早期的SSM系列工作。

这样看来，“连续化—离散化”似乎是一条屡试不爽的探索路径。那么，Softmax Attention连续化又能得到什么有意思的结果呢？让我们一起来品鉴一番。

问题描述

标准的Softmax Attention定义为
\begin{equation}\boldsymbol{o}_t = \frac{\sum_{i=1}^t e^{\boldsymbol{q}_t\cdot\boldsymbol{k}_i} \boldsymbol{v}_i}{\sum_{i=1}^t e^{\boldsymbol{q}_t\cdot\boldsymbol{k}_i}}\end{equation}