AI Paper Digest · September 23, 2026
1. 自适应稀疏注意力:面向下一代长程推理模型的高效计算方法
作者:陈昊宇、林晚晴、赵崇文(清华大学计算机系 / 智源人工智能研究院)
问题:Test-time scaling(测试时扩展计算)虽大幅提升了大模型在数学和代码推理上的表现,但 Transformer 中稠密注意力带来的计算开销随序列长度超线性增长,使得长程推理的部署成本难以承受。现有稀疏注意力方法在静态修剪或局部窗口上表现良好,却无法动态适配推理过程中逐步累积的关键中间 token。
方法:论文提出 Adaptive Sparse Reasoning Attention(ASRA),一种基于强化学习的因果稀疏门控机制。在训练阶段,门控网络(Gating Network)通过连续松弛(straight-through estimator)学习为每个注意力头动态选择前 k 个关键 token;推理阶段则直接二值化,仅在选定的稀疏子集上计算 softmax。同时,作者引入了一项“推理熵正则”,激励门控网络在保证预测置信度前提下最小化被选中 token 的数量。
结果:在 GSM8K、MATH-500 及 LiveCodeBench 上,ASRA 在削减 60% 的注意力计算量时,仅损失约 1% 的相对准确率;在 SeqBench(最长 128K 上下文)上,推理速度相对 FlashAttention-2 提升 2.1 倍。门控策略在不同模型尺寸(8B–70B)间均可直接迁移,无需重新训练。
arXiv 链接:https://arxiv.org/abs/2609.02134
2. UniPhysics-World:物理一致的世界状态预测器,用于具身智能长程规划
作者:Alessandro Greco、王语嫣、Kazuki Tanaka(斯坦福大学与上海人工智能实验室联合研究组)
问题:具身智能体在真实环境中进行长程操作时,现有视觉-语言-动作模型(VLA)常因缺乏对动态物体状态变化的显式建模,在连续多步任务中产生累积物理误差(例如抓取后物体姿态漂移)。主流视频预测模型擅长像素级生成,却难以提供可计算的物理状态估计。
方法:论文提出 UniPhysics-World,一种在潜在状态空间内联合建模视觉观测、物体物理属性(质量、摩擦系数、接触刚度)与可执行动作的扩散式世界模型。其核心是将感知编码器、物理状态先验和动作条件去噪网络统一为端到端可训练架构:视觉观测先被压缩为结构化 token,再经由一个物理感知的前向动态模块预测下一时刻状态,最后解码为子目标规划信号。训练数据结合了大规模仿真(MuJoCo/Genesis)与少量真实遥操作数据。
结果:在 RLBench 和真实双臂平台 ALOHA 上的长程任务(如“将物品摆放至目标区域并保持稳定”)中,UniPhysics-World 将任务成功率从基线 VLA(如 OpenVLA-2)的 63% 提升至 84%;在跨物体材质泛化测试中,物理状态预测误差降低 37%。此外,该模型在碰到未见过的物体形状时,无需新样本即可重新规划稳定抓取点。
arXiv 链接:https://arxiv.org/abs/2609.01887
3. ProofFormer:将安全对齐问题转化为形式化定理证明,实现可验证的模型行为约束
作者:Maria Schneider、刘子昂、Aiko Yamamoto(DeepMind 安全研究组 / 慕尼黑工业大学)
问题:基于 RLHF/DPO 的对齐方法本质上仍是经验性尝试,无法为模型在特定约束(如“不泄露隐私”“不越狱”)下提供数学保证。每当模型规模更新或微调,安全边界就需重新验证。
方法:论文提出 ProofFormer,一种将模型行为约束编码为一阶模态逻辑规范(LTL_{f}),并通过可微分定理证明器(neural theorem prover)在大型语言模型内部嵌入约束推理层的架构。训练时,模型不仅学习预测下一个 token,还需学习证明“当前回答满足给定安全规范”的中间引理;推理时,模型在输出每一个候选答案前调用可验证的符号解释器(基于 Lean),只有通过证明的结果才被允许进入生成序列。该方法将符号验证过程本身作为强化奖励信号,与人类反馈联合优化。
结果:在 HarmBench、ProxyPriv 隐私基准及越狱攻击集(如 GCG 与 PAIR)上,ProofFormer 在基本不改变通用能力(MMLU 分差小于 0.5%)的情况下,将对抗性越狱成功率降至 <0.1%,并且 99.2% 的输出可被 Lean 证明器形式化验证。作者进一步证明,该可验证层可无缝接入现有开源模型(Llama-3.1-70B),迁移成本低于 10 天 GPU 微调。
arXiv 链接:https://arxiv.org/abs/2609.02571







