Daily AI Papers - 2026年2月27日#

1. Overconfident Errors Need Stronger Correction: Asymmetric Confidence Penalties for Reinforcement Learning#

作者: Yuanda Xu 等 (LinkedIn)
链接: arXiv:2602.21420
方向: RLVR / 强化学习

核心创新: RLVR (Reinforcement Learning with Verifiable Rewards) 已成为提升大语言模型推理能力的主流范式，但现有方法存在根本性缺陷：虽然 Pass@1 准确率提升，但模型的推理边界变窄、生成多样性降低。本文发现这一问题的根源在于对错误的均匀惩罚——当前方法无论错误类型如何，对组内所有错误 rollout 一视同仁。

作者提出 ACE (Asymmetric Confidence-aware Error Penalty)，引入 per-rollout 置信度偏移度量 $c_i = \log(\pi_\theta(y_i|x) / \pi_{ref}(y_i|x))$ 来动态调制负优势。理论上，ACE 的梯度可分解为针对过度自信错误的选择性正则化器梯度，加上一个部分调节正则化器强度的残差项。过度自信错误 (overconfident errors) 指 RL 过程错误强化的不正确推理路径。

实验结果: 在 Qwen2.5-Math-7B、Qwen3-8B-Base 和 Llama-3.1-8B-Instruct 上，使用 GRPO 和 DAPO 在 DAPO-Math-17K 数据集微调。在 MATH-500 和 AIME 2025 基准上，ACE 与现有方法无缝组合，全面提升 Pass@k 谱表现。

2. Exploratory Memory-Augmented LLM Agent via Hybrid On- and Off-Policy Optimization#

作者: Jeonghye Kim 等 (Microsoft)
链接: arXiv:2602.23008
方向: Agentic RL

核心创新: 探索 (exploration) 仍是 RL 训练 LLM Agent 的关键瓶颈。现有方法虽能利用预训练知识，但在需要发现新状态的环境中表现不佳。本文提出 EMPO² (Exploratory Memory-Augmented On- and Off-Policy Optimization)，一个混合 RL 框架，利用记忆机制促进探索，并结合 on-policy 和 off-policy 更新，使 LLM 在有记忆时表现优异，同时在没有记忆时也具备鲁棒性。

该方法的关键在于同时优化两种策略：利用记忆的 on-policy 更新确保高效利用已知信息，off-policy 更新则促进探索未知状态。

实验结果: 在 ScienceWorld 和 WebShop 上，EMPO² 相比 GRPO 分别取得 128.6% 和 11.3% 的提升。在分布外测试中，EMPO² 展现出卓越的自适应性，仅需少量带记忆的试验即可适应新任务，无需参数更新。

3. Search More, Think Less: Rethinking Long-Horizon Agentic Search for Efficiency and Generalization#

作者: Qianben Chen 等 (OPPO)
链接: arXiv:2602.22675
方向: Agentic RL / 搜索效率

核心创新: 当前深度研究 Agent 主要通过扩展推理深度来提升性能，但这导致搜索密集型场景中高推理成本和延迟。此外，跨异构研究设置的泛化仍具挑战。本文提出 SMTL (Search More, Think Less) 框架，针对长程 Agentic 搜索的效率与泛化进行重新思考。

核心洞察是：与其让模型在单步进行深度思考，不如增加搜索的广度 (Search More)，减少每步的思考深度 (Think Less)，从而在保持性能的同时降低成本并提升泛化能力。

4. Imagination Helps Visual Reasoning, But Not Yet in Latent Space#

作者: Yansong Hu 等 (Tsinghua University)
链接: arXiv:2602.22766
方向: 视觉推理 / VLA

核心创新: 隐式视觉推理 (latent visual reasoning) 旨在通过多模态大语言模型的隐藏状态模拟人类想象过程。本文使用 因果中介分析 (Causal Mediation Analysis) 揭密其有效性来源，发现两个关键断裂：

1. 输入-隐式断裂: 输入的剧烈扰动对隐式 token 影响微弱，表明隐式 token 未有效关注输入序列
2. 隐式-答案断裂: 隐式 token 的扰动对最终答案影响有限，表明隐式 token 对结果的因果效应受限

探测分析进一步揭示隐式 token 编码的视觉信息有限且高度相似。作者质疑隐式推理的必要性，支持显式想象 (explicit imagination) 方法。

5. AgentDropoutV2: Optimizing Information Flow in Multi-Agent Systems via Test-Time Rectify-or-Reject Pruning#

作者: Hao Li 等 (Harbin Institute of Technology)
链接: arXiv:2602.23258
方向: 多智能体系统 / Agentic RL

核心创新: 多智能体系统 (MAS) 在复杂推理中表现优异，但面临个体生成错误信息的级联影响。现有方案依赖刚性结构工程或昂贵微调，部署性和适应性受限。本文提出 AgentDropoutV2，一个 test-time rectify-or-reject 剪枝框架，无需重新训练即可动态优化 MAS 信息流。

该方法作为主动防火墙，拦截 Agent 输出，使用 retrieval-augmented rectifier 基于失败驱动的指示器池迭代纠正错误。无法修复的输出被剪枝以防止错误传播，同时 fallback 策略保持系统完整性。

实验结果: 在多个数学基准上，AgentDropoutV2 平均提升 MAS 任务性能 6.3 个百分点，展现出强大的泛化和自适应能力。

6. veScale-FSDP: Flexible and High-Performance FSDP at Scale#

作者: Zezhou Wang 等
链接: arXiv:2602.22437
方向: AI Infra / 分布式训练

核心创新: FSDP (Fully Sharded Data Parallel，即 ZeRO) 被广泛用于大规模模型训练，以其灵活性和对模型代码的极小侵入性著称。然而，现有 FSDP 系统难以支持结构感知训练方法 (如块级量化)。veScale-FSDP 旨在解决这一问题，提供更灵活、高性能的 FSDP 实现，支持更复杂的训练策略。

7. The Trinity of Consistency as a Defining Principle for General World Models#

作者: Jingxuan Wei 等 (OpenDataLab)
链接: arXiv:2602.23152
方向: World Models

核心创新: 本文提出一致性三元组 (Trinity of Consistency) 作为通用世界模型 (General World Models) 的定义原则。世界模型需要在物理一致性、语义一致性和时间一致性三个维度上保持统一，才能真正理解和预测复杂环境的动态变化。

8. AI Gamestore: Scalable, Open-Ended Evaluation of Machine General Intelligence with Human Games#

作者: Lance Ying 等 (MIT)
链接: arXiv:2602.17594
方向: 智能评估 / General Intelligence

核心创新: 在技术快速进步的时代，严格评估机器智能与人类通用智能的广泛谱系变得越来越重要和具有挑战性。AI Gamestore 提出一个可扩展、开放式的评估框架，利用人类游戏评估机器通用智能 (Machine General Intelligence, MGI)，为 AGI 评估提供新的基准。