DIVA:面向视觉-语言-动作策略的双空间意图感知视觉衰减

arXiv:2610.09144v1 公告类型:新
摘要:视觉—语言—动作(VLA)策略通常将密集的视觉补丁标记输入到语言—动作主干网络中,既保留了场景上下文,又缺乏明确的机制来调控不同视觉标记对策略计算的影响强度。我们提出了DIVA,一种双空间意图感知视觉衰减模块,采用“先锚定、后衰减”的设计。DIVA将高层次的任务意图与低层次的视觉证据相结合,以估计各补丁的相关性锚点,随后在两个互补的空间中应用这些锚点:在进入主干网络之前重新加权投影后的视觉标记,并在主干网络内部持续衰减相关性较低的视觉状态。DIVA保留了完整的视觉标记序列,且无需外部的接地监督。在LIBERO数据集上,DIVA将OpenVLA-OFT的平均成功率从96.6%提升至98.0%,并将零样本下的LIBERO-Plus得分从69.6提高至72.6。真实环境实验进一步表明,在任务无关的视觉扰动下,DIVA仍能带来稳定的性能提升,验证了意图感知视觉衰减在仿真之外的鲁棒性。

添加评论
点赞收藏
点踩分享查看原文
评论
?
参与讨论