摘要
本文解读 ICLR 2026 论文《ELMUR: External Layer Memory with Update/Rewrite for Long-Horizon RL Problems》。该论文提出ELMUR——一种在 Transformer 的每一层外挂结构化外部记忆的架构，通过融合层内局部记忆嵌入、双向 token–memory 交叉注意力与基于 LRU 的替换/凸混合重写规则，让智能体在部分可观测的长时程任务中仍能记住很久之前出现过的关键线索，其特别之处在于记忆容量有界、开销与序列长度解耦，且完全不改动注意力本身。实验表明在上下文只有 10 步的前提下，ELMUR 在长达一百万步的 T-Maze 走廊上仍保持 100% 成功率，在 MIKASA-Robo 的 32 个操作任务上把聚合成功率从 5.42 提升到 9.24（相对提升约 70%），并在 POPGym-48 上以 10.41 的总分居首，为长时程记忆与具身决策 提供了重要借鉴。 视频讲解 ：点击观看 B 站视频 论文用了一个非常具体的场景开场：机器人煮意面时把盐加了一遍又一遍，因为盐溶进汤里看不见，它无法确认自己是否已经加过。这正是部分可观测 的日常形态——世界不会把所有必要信息同时呈现出来。 在强化学习的形式化里，这类任务被建模为 POMDP：$(\mathcal{S}, \mathcal{A}, \mathcal{O}, T, Z, R, \rho_0, \gamma)$，其中状态空间与观测空间分离，最优策略必须依赖整段历史 $h_t = (o_0, a_0, \dots, o_t)$ 而不是当前观测 $o_t$。一个实用的替代方案是把历史压缩成一个学到的记忆状态，即 $\pi(a_t \mid m_t)$，其中 $m_t$ 由某种更新规则递推得到。 问题在于，关键线索往往出现在决策之前很久 。该团队在前序工作中把这件事量化成「相关性视界」$\xi = t_r - t_e - \Delta t + 1$：它衡量一次事件结束到需要回忆它的决策点之间隔了多少步。只要 $\xi > 1$，纯反应式的策略就不够用。而现有路线各有硬伤： 作为对照，本文选择的基线覆盖了完整的谱系：决策 Transformer（DT）、带记忆的循环动作 Transformer（RATE）、状态空间模型（DMamba）、行为克隆（BC-MLP、BC-LSTM）、离线强化学习（CQL）与生成式策略（Diffusion Policy）。论文明确说明不比较在线强化学习，因为其交互式探索预算不可比；也不做真机实验 ，以避免延迟、复位与安全约束带来的混淆。 从历史脉络看，这条技术线相当清晰：2019 年的 Transformer-XL 用段级循环加激活缓存迈出第一步；随后压缩缓存与可检索外部键值对让「容量」成为显式问题；2023 年的 POPGym 与同期工作把「记忆长度」与「信用分配长度」解耦，证明 Transformer 在强化学习里的优势主要来自记忆——需求第一次被量化；到 2026 年，RATE 把循环记忆接回决策 Transformer，而本文把记忆下沉到每一层，并用 LRU 显式规定覆盖策略，同时给出半衰期与有界性证明。 图 13：ELMUR 的研究主线——从部分可观测下「线索远早于决策」的问题出发，指出扩大窗口与截断历史这两条现成路线的失效模式，进而设计出每层独立、容量有界的记忆槽，用双向交叉注意力读写并由 LRU 规则决定覆盖谁，最终在合成、棋盘控制与视觉操作三类基准上验证，得到有效记忆视界达注意力窗口十万倍量级的结论。（Mermaid 流程图） ELMUR 的出发点是：不要让注意力去装历史，而是给它配一条旁路。整体架构仍是 GPT 式的 Transformer 解码器，但每个层里都有两条并行轨道——token 轨道负责把观测变成动作，记忆轨道 负责跨段持久。两条轨道通过交叉注意力交换信息。 图 1：ELMUR 的总体设计。每个 Transformer 层在 token 轨道之外并行维护一条记忆轨道；token 通过 mem2tok 从记忆读取信息，记忆通过 tok2mem 从 token 吸收新内容，LRU 块决定用替换还是凸混合来重写某个槽——容量有界，但信息可以跨任意多的段延续。 设计上有三个必须同时成立的要素： 这个设计还带来一个容易被忽略的好处：记忆的开销随槽数增长，而不是随序列长度增长 。在 T-Maze 上 ELMUR 有 2.1M 参数（RATE 为 1.7M、DT 为 1.8M），但每一步反而更快：单步耗时 $6.8 \pm 0.5$ 毫秒，优于 RATE 的 7.2 毫秒与 DT 的 10.7 毫秒。 图 14：长时程记忆机制的分类。横轴按「记忆存在哪里、由谁控制遗忘」划分：隐式循环把历史压进隐藏动态但几乎不控制遗忘；可寻址外部记忆容量可控但优化复杂；上下文扩展把缓存放在核心计算之外；序列层记忆把它拼接进输入；ELMUR 则把记忆放进每一层，并用 LRU 显式决定覆盖谁。（Mermaid 分类图） LRU 记忆管理是整套机制的核心。每一层维护 $M$ 个记忆槽，每个槽持有一个向量和一个锚点 （该槽最后一次被更新的时刻）。初始化时槽内是随机向量并被标记为空。 图 2：LRU 记忆管理。新内容先填满空槽（整槽替换）；全部填满后，只刷新最久未使用的槽，并与新内容做凸混合。槽下的锚点记录最近一次更新时间——这条规则让容量有界，同时保住长时程信息。 当所有槽被占满后，写入不再是整槽替换，而是凸混合。若把第 $j$ 个槽在第 $i$ 段之后的更新写成 $\mathbf{m}j^{(i+1)} = \lambda\,\mathbf{m} {\text{new}}^{(i+1)} + (1-\lambda)\,\mathbf{m}_j^{(i)}$，其中 $\lambda \in [0,1]$ 是唯一的混合系数，那么它同时给出了两个可推导的性质： 还有一个与循环网络的关键区别：没有被选中的槽，其内容完全不动 。RNN 每一步都在改写状态，而 ELMUR 的槽在下一次被选中之前逐字保留原值。 时间信号的处理同样值得注意。跨段之后绝对位置失去意义，只有 token 时刻 $t$ 与记忆锚点 $p$ 的相对偏移有意义，于是模型用一张可学习的嵌入表按偏移给出注意力偏置，偏移截断在 $[-D_{\max}+1, D_{\max}-1]$ 区间内；读写两条路径共用同一张表，但可以学出不同的模式（读取用正偏移，写入用反向偏移）。训练时记忆在段之间 detach，不做沿时间的反向传播，损失在每一段上就地计算。 各任务的关键超参如下表——可以看到所需记忆容量随任务变化非常大： 读表提示：原表把混合系数命名为 $\alpha$，而正文与算法用 $\lambda$ 表示同一个量，这是一处符号不一致，数值本身可信。 实验覆盖三类基准，共同点是奖励稀疏、观测不完整 ，因此必须靠记忆而不是靠反应。 图 3：三类基准的环境。上两条是 MIKASA-Robo 的操作轨迹（RememberColor9 要求延迟后回忆隐藏方块颜色，TakeItBack 要求目标改变后把物体拿回原处），左下是 T-Maze，右下为 POPGym 的棋盘与控制任务。奖励都只在成功时给出。 评测协议是：每个模型跑 3 次独立运行（T-Maze 为 4 次），每次 100 个不同环境种子，报告运行均值的总均值与标准误；所有模型从头训练、使用相同数据预算与预处理；单卡 A100 80GB 承担一个任务。 最关键的结论来自 T-Maze 的外推实验： 图 4：RQ1 的结果——推理走廊长度与成功率的关系。上下文只有 $L=10$、训练时只用了 $S=3$ 段，但 ELMUR 在一百万步走廊上仍保持 100% 成功率，有效记忆跨度达到注意力窗口的约十万倍。这是全文最强的单条证据。 泛化方向上的表现同样干净：训练长度只覆盖 9 到 900 步，而验证铺开到 9 到 9600 步，所有训练与验证组合都保持满分——向更短的任务迁移不过拟合，向更长的任务迁移不衰减。 图 5：RQ2 的泛化热力图。训练只用 9–900 步，验证铺到 9–9600 步，所有训练与验证组合都保持 100%，两个方向同时成立。 在 POPGym 上，逐任务对比更能说明改进的分布： 图 6：RQ4 的逐任务对比。对称对数刻度下比较 ELMUR 与 DT 在 48 个 POPGym 任务上的表现，误差条为 3 次运行均值的 95% 置信区间；增益集中在记忆密集型谜题上，控制类任务没有付出代价。 汇总到表格里，三类基准的关键数字如下： 消融实验给出了清晰的组件排序： 超参消融进一步显示，记忆容量是硬阈值 ：当槽数 $M$ 大于任务所需的段数 $N$ 时，几乎所有设置都能达到满分；一旦 $M 图 10：记忆超参在 RememberColor3-v0 上的消融。曲线分「容量不足（$M N$）」两组：容量充足时几乎处处满分，容量不足时对混合系数、初始化与分段高度敏感。 为了回答「信息到底是写在记忆里，还是仅仅因为参数更多」，论文做了一组记忆探测实验。做法是：先把策略训练到专家水平，再跑 1000 个成功 回合，逐时刻抽出每一层的记忆向量与真值颜色标签；对每个「层 × 时刻」组合单独训练一个三层 MLP 探针（隐藏维度 512，交叉熵，Adam 200 轮，80/20 划分）。探针是事后训练的，不参与策略更新。 图 7：记忆探测的混淆矩阵（行为 $t \in {0,1,5,10,20}$，列为第 0–3 层）。$t=0$ 时各层都接近三分类随机水平；$t=1$ 第 0 层已能可靠解码；$t=5$ 线索已从画面消失却达 100%；到 $t=10$ 与 $t=20$，前几层接近满分，只有最深层略低。 写入的时机同样高度结构化。各层呈现同一套轮转表：早期只有槽 0 被写，随后职责转到槽 1，再到槽 2；一个槽一旦失去职责就再也不被修改，因此整段回合只有零星几次写入，而不是持续翻搅。 图 8：各层的记忆写入时刻表（横轴为 $t \in [0,60]$，纵轴为槽 0–2，绿色表示该步发生写入）。槽一旦失活就不再被修改——线索写入专用槽后，其内容在整个回合内被完整保留。 从嵌入层面的演化看，结论一致： 图 9：记忆随层、槽与时间演化的快照。早期是接近随机的小幅值；线索出现后每层只有一个槽变成强结构化并长期保持不变。 读写两条路径的注意力模式则显示出明显的不对称： 图 11：读写两条路径的交叉注意力图（左为写入，右为读取）。写入几乎只在线索出现时出现短促高强度的脉冲并集中在单个槽；读取则在空白期与决策期持续而结构化地回到同一个槽，其余注意力头近乎静默。 几何结构上，记忆从初始化的弥散云迅速收敛到少数低维流形，并在此后停留在那里；不同槽共享同一个内容空间，并不与特定颜色绑定。 图 12：记忆嵌入的 PCA 结构。左图按槽着色，说明槽并不与特定颜色绑定，而是共享一个内容空间；右图按时刻着色，显示记忆从初始化附近的弥散云迅速收敛到少数低维流形。 最后，论文还检验了两件容易被忽略的事。第一，记忆机制在完全可观测 任务上是否会造成损失：CartPole-v1 上所有模型都拿到满分 500，在 D4RL MuJoCo 的 D4RL 数据上 ELMUR 与强基线同级（用 $(R,o,a)$ 条件化得平均 76.4，只用观测得 74.7，差距仅约 2%，说明它不依赖回报或动作标签这类额外条件也能工作）。第二，它并非在所有任务上都赢——在 ViZDoom-Two-Colors 的 3D 视觉导航上，ELMUR 的回报是 55.28 ± 0.94，落在 RATE 的 59.21 ± 1.19 之后。 图 15：结果对比总结。最强基线 RATE 在 MIKASA-Robo 上的聚合成功率是 5.42、POPGym-48 总分 9.54；ELMUR 分别达到 9.24 与 10.41，相对提升约 70%，并在 24 个任务上排名第一，同时在上下文只有 10 步的条件下于一百万步 T-Maze 上保持 100% 成功率。（Mermaid 结果对比图） 从创新模式的角度看，这篇论文同时命中三条被验证过的高价值模式：刻画极限然后超越（先给出指数遗忘与有效视界的形式化下界，再在实验上跨过它）、设计混淆隔离诊断工具（用逐层逐时刻的探针把「记忆真的存了任务变量」与「参数更多所以更强」这两个解释拆开）、以及异构分解差异化处理 （每层各自持有记忆，显著优于全网络共享）。三者都用可量化的消融或探测结果支撑，这也是它执行质量最扎实的地方。 Transformer-XL 用段级循环缓存上一段的激活，缓存内容由网络自己产生、无法选择保留什么。ELMUR 把缓存换成每层独立的显式记忆槽 ，并在填满之后用 LRU 规则决定覆盖哪一个槽、以多大比例覆盖。区别在于：前者是「被动缓存」，后者是「带策略的存储」，因此可以给出半衰期与有界性的形式化刻画。 因为代价。自注意力的开销随上下文长度平方增长，而长时程任务需要的是「记住几千步前的一个线索」，不是「同时关注几千个 token」。ELMUR 的额外开销随记忆槽数而非序列长度增长，于是把「更长的历史」和「更贵的注意力」这两件事解开了。 论文的经验是至少不小于任务所需的段数 。槽数 $M$ 大于所需段数 $N$ 时，几乎所有超参设置都能达到满分；而 $M 不会。在完全可观测的 CartPole-v1 上，ELMUR 与所有基线一样拿到满分 500；在 D4RL MuJoCo 上与强基线同级；在 POPGym 的反应类任务上保持 9.2 分，与最强基线持平。这说明加记忆并没有用反应速度去换。 它控制稳定性与塑性的平衡：$\lambda$ 越小保留越久（半衰期近似为 $\ln 2 / \lambda$），越大覆盖越快。论文中不同任务的最优值从 0.05（T-Maze）到 0.80（POPGym-Autoencode）不等，而且要避开 0.4–0.6 这段反而不稳定的中间区间。 从设计上看很有机会：它不改变注意力本身，只是在每一层加一条并行的读写旁路，对骨干网络几乎没有侵入性。事实上论文的多数实验已经在带视觉输入的机器人操作任务上完成，而相关团队也一直在做 VLA 的记忆扩展，这是值得关注的方向。 给大家推荐一款自用写文献综述、无虚构文献的 AI： 🌟复旦大学 FudanNLP 团队自研 切问学术 官网：qiewenpaper.com 覆盖3.6 亿篇 可溯源真实中英文文献，能自动整合文献观点生成规范综述 还能挖掘研究创新点、复现实验，配合视频教学，新手快速上手文献综述写作 🍀后记🍀 博客的关键词集中在编程、算法、机器人、人工智能、数学等等，持续高质量输出中。 🌸讨论QQ群 ：白拾的小屋 (750365700) ⭐B站账号 ：白拾的物理AI组会（活跃于知识区和动画区） ✨GitHub主页 ：YhbCode000（工程文件）论文基本信息
项目 内容 标题（英文） ELMUR: External Layer Memory with Update/Rewrite for Long-Horizon RL Problems 标题（中文） 长时程部分可观测决策：给每一层 Transformer 装上可重写的外部记忆 作者 Egor Cherepanov$^{1,2}$, Alexey K. Kovalev$^{1,2}$, Aleksandr I. Panov$^{1,2}$ 机构 俄罗斯人工智能研究院（AIRI）· 莫斯科物理技术学院（MIPT） 会议 ICLR 2026 arXiv arXiv:2510.07151 项目网站 elmur-paper.github.io 背景与动机
研究主线：从问题到结论
基准/方法设计
分类全景
方法细节
参数 RememberColor TakeItBack T-Maze POPGym-Autoencode $d_{\text{model}}$ 128 32 128 64 层数 4 2 2 12 注意力头数 16 16 2 4 记忆槽数 $M$ 256 32 2 8 记忆初始化标准差 0.1 0.001 0.001 0 LRU 混合系数 0.40 0.20 0.05 0.80 上下文长度 $L$ 20 60 10 35 批大小 64 64 128 128 学习率 2.05e-4 2.57e-4 2.06e-4 1.16e-4 训练轮数 200 300 1000 800 实验设计与结果
基准 关键指标 最强基线 ELMUR 结论 T-Maze（$10^6$ 步） 成功率 随长度衰减 100% 超窗口十万倍 MIKASA-Robo（32 任务） 聚合成功率 RATE 5.42 9.24 相对提升约 70% POPGym-48 总分 RATE 9.54 10.41 24/48 个任务第一 POPGym 记忆谜题（33） 聚合回报 RATE 0.45 1.2 记忆类增益最大 TakeItBack-v0 成功率 RATE 0.42 ± 0.24 0.78 ± 0.03 延迟反转近乎翻倍 设置 得分 基线 ELMUR 1.00 ± 0.00 共享记忆（各层共用一个记忆池） 0.45 ± 0.03 去掉相对偏置 0.95 ± 0.05 去掉 LRU 0.43 ± 0.22 去掉相对偏置与 LRU 0.22 ± 0.11 MoE 前馈换回 MLP 1.00 ± 0.00 探针时刻 $t$ 第 0 层 第 1–2 层 第 3 层 $t=0$（记忆仍随机） 约 33% 约 33% 约 33% $t=1$（首次写入后） 已可解码 逐渐下降 最弱 $t=5$（线索已消失） 100% 高 高 $t=10$ / $t=20$ 基本满分 基本满分 略低 结果对比总结
关键发现
局限性
常见问题（FAQ）
ELMUR 和 Transformer-XL 有什么本质区别？
为什么不直接把上下文窗口做得更长？
记忆槽数要设多大？
ELMUR 会损害反应式任务的性能吗？
混合系数应该怎么选？
这套机制能迁移到视觉语言动作模型上吗？
参考链接