LLM交易策略的性能衰减：训练数据泄露如何制造虚假回测收益

几个月前，我写了一个实验旧金山联储的研究人员请ChatGPT预测通胀。结果非常糟糕。当研究人员试图预测ChatGPT训练窗口外的通胀时，模型出现了故障，表明即使你对模型进行了围栏，模型最初使用的训练数据也会泄漏，给出的预测在回测中看起来比应用于实时市场时要好得多。

一支中国研究人员团队现在使用最先进的人工智能交易代理评估在制定交易策略时是否存在同样的问题。他们提出了五种基于LLM的方法，并限制它们在GTP-4o上运行，以确保训练截止时间定为2023年10月。

然后，他们要求这五个交易大型语言模型在2021年第二季度和第三季度（即GPT-4o训练窗口内的回测）以及2024年第三季度和第四季度（训练窗口关闭后的测试）期间，在纳斯达克100指数的成分股中进行交易。

纳斯达克100指数的两期回报率非常接近，约为13.5%，但交易大型语言模型的总回报发生了巨大变化。在回测设置中，模型的总回报在30%到44%之间，轻松超过了指数。

但如果在2024年底训练数据无法再帮助时，即使无意中泄漏到任务中，总回报率会降至9%到22%之间。

贸易代理申请预培训和培训后阶段

研究人员随后提出了一种挽救该问题的方法，要求交易大型语言模型自行制定交易策略，不仅要在回测中测试，还要将其应用于反事实情景。

本质上，据我所见，这归结为老式的蒙特卡洛模拟（加上一些额外的花哨功能）来测试交易策略，而这个环境并未包含在LLM的训练数据中。

如果它在回测和反事实环境中奏效，交易策略在现实应用中更有可能盈利。根据他们的结果（仅限于五只股票和比特币，不是完整的纳斯达克100指数），这非常有帮助。