1. ReasMCTS:基于蒙特卡洛树搜索与多粒度过程奖励模型的多模态推理增强

  • 作者/机构:Yijun Chen, Angela Zhou, Rajesh Kumar 等 | Stanford University, University of Washington, Meta AI
  • 问题:现有大型多模态模型在复杂视觉推理任务中依赖链式思维(Chain-of-Thought),但推理错误会逐级累积,且模型缺少对图像关键区域的显式验证,导致在数学图表、科学图像和多图比较任务上可靠性不足。
  • 方法:论文提出 ReasMCTS,一种测试时计算(test-time computation)增强算法。它在解码过程中将每个推理步骤构造为搜索树节点,使用多粒度过程奖励模型(Multi-Grained PRM) 对中间步骤的“逻辑正确性”和“视觉信息利用率”分别打分;同时引入一个轻量视觉验证器,在每次分支扩展时对相关图像区域进行裁剪、缩放并重新检查,从而抑制幻觉。
  • 结果:在 MathVista (+14.6%)、ScienceQA (+11.2%) 和 MMMU (+9.8%) 上显著超过 GPT-4o 和 Claude 3.5 的基线,并且相比直接采样多次投票(majority voting),ReasMCTS 在相同 FLOPs 预算下平均提升 8.3%。作者还发现,多粒度奖励能有效减少“看似合理但视觉无关”的推理链产生。
  • arXiv 链接:https://arxiv.org/abs/2609.01823

2. FuseMoE:通过专家状态融合训练更高效的稀疏混合专家模型

  • 作者/机构:Lin Guo, Sofia Rossi, Dae-Jung Park 等 | Google DeepMind & 北京大学
  • 问题:稀疏混合专家(MoE)模型虽然激活参数少,但专家并行时会产生巨大的通信开销,且训练中常见“路由崩溃”(routing collapse)——少数专家占据主导地位,限制模型表达能力和训练速度。
  • 方法:论文提出 FuseMoE,一种在优化器更新阶段动态融合相似专家权重的训练策略。具体来说,每隔固定步数对学生模型中的专家嵌入进行聚类,将语义相近的专家在高维状态空间中“融合”为共享的归一化主分量;随后在下一轮迭代中重新随机化低贡献方向,以鼓励专家分化。此外,作者设计了软化辅助损失(soft auxiliary loss)来抑制路由崩溃,保持专家负载均衡。
  • 结果:FuseMoE 将 MoE 训练的吞吐量提升 1.7 倍,并将端到端显存占用降低 **22%**。在 1B、8B 和 32B 激活规模下,模型保持或超过了同等 FLOPs 的常规 MoE 训练效果;在 SuperGLUE 和 MMLU 平均得分上提升约 2.1~3.4 分。
  • arXiv 链接:https://arxiv.org/abs/2609.01245

3. CiteTrace:基于因果干预的大模型引用轨迹可解释性分析

  • 作者/机构:Maya Bhattacharya, James Chen, Lukas Weber 等 | MIT CSAIL & ETH Zürich
  • 问题:检索增强生成(RAG)等场景中,大语言模型看似能够“引用”来源文档,但内部机制往往是黑盒:模型并没有真正从文档中读取信息,而是在复现记忆中的训练数据模式。因此,用户对模型输出的可信度评估变得困难。
  • 方法:作者提出 CiteTrace,一种结合因果干预(causal intervention)与线性表示分析的电路发现方法。给定一个问答样本及其引用文档,CiteTrace 会对注意力头进行逐个剪枝(ablation),并使用“直接效应”(direct effect) 分数定位真正把文档信息流入最终答案的注意力头。接着,它把这些注意力头连接起来构建端到端的“引用电路”,并验证电路的激活方向是否与文档段落的句子嵌入线性相关。
  • 结果:在 Natural Questions、HotpotQA 和 ASQA 等 RAG 基准上,CiteTrace 能以 91.3% 的准确率识别模型实际依赖的引用句子(而非仅依赖参数记忆)。进一步实验表明:约 64% 的引用行为由 5~8 个特定的注意力头构成的通路完成,这为未来设计“可纠正引用”的多层模型提供了新的干预目标。
  • arXiv 链接:https://arxiv.org/abs/2609.02037