Daily AI Papers - 2026年3月10日#

1. H²RL: Boosting deep Reinforcement Learning using pretraining with Logical Options#

作者: Zihan Ye, Phil Chau, Raban Emunds, Jannis Blüml, Cedric Derstroff, Quentin Delfosse, Oleg Arenz, Kristian Kersting
链接: arXiv:2603.06565
方向: Agentic RL / Neuro-Symbolic

核心创新: 深度强化学习智能体常因过度利用早期奖励信号而产生不对齐行为。H²RL 提出一种混合层次强化学习框架，借鉴人类学习新技能的过程，采用两阶段架构将符号结构注入神经RL智能体。第一阶段通过逻辑选项（Logical Options）进行预训练，引导策略远离短期奖励循环；第二阶段通过标准环境交互精化最终策略。这种方法既保持了深度策略的表达能力，又获得了符号方法的结构性优势。

实验结果: 在长程决策任务中，H²RL 持续超越纯神经、纯符号及神经-符号基线方法，在保持样本效率的同时显著改善长期任务完成率。

2. Talk Freely, Execute Strictly: Schema-Gated Agentic AI for Flexible and Reproducible Scientific Workflows#

作者: Joel Strickland, Arjun Vijeta, Chris Moores, Oliwia Bodek, Bogdan Nenchev, Thomas Whitehead, Charles Phillips, Karl Tassenberg, Gareth Conduit, Ben Pellegrini
链接: arXiv:2603.06394
方向: Agentic AI / 科学计算

核心创新: 针对科学工作流对确定性、可追溯性和治理的严格要求，论文提出 Schema-Gated Orchestration 架构。该架构将模式（Schema）作为工作流组合的强制执行边界，完整动作（包括跨步骤依赖）必须通过机器可验证的规范验证后才能执行。研究通过对18位工业研发专家的访谈，提炼出执行确定性（ED）和对话灵活性（CF）两个核心维度，并发现当前系统在两者之间存在经验性帕累托前沿——尚无系统能同时实现高灵活性和高确定性。

关键贡献:

• 提出分离对话权威与执行权威的架构原则
• 澄清-执行-验证的三阶段操作原则
• 多模型评分协议（15轮独立会话，3个LLM家族）验证架构评估，Krippendorff α=0.80-0.98

3. COLD-Steer: Steering Large Language Models via In-Context One-step Learning Dynamics#

作者: Kartik Sharma, Rakshit S. Trivedi
链接: arXiv:2603.06495 | 代码
方向: LLM控制 / 推理优化

核心创新: 激活引导（Activation Steering）可在无需重训练的情况下控制LLM行为，但现有方法面临根本性权衡：样本高效的方法难以最优捕捉引导信号，而效果更好的方法需要数百至数千样本。COLD-Steer 的核心洞见是：小样本微调的效果可以在推理时高效近似，无需实际参数更新。该方法通过两种互补方式实现：(i) 单位核近似法，使用归一化梯度直接更新激活；(ii) 有限差分近似，仅需两次前向传播，与样本数量无关。

实验结果: 在多样引导任务和基准测试中，COLD-Steer 实现高达 95% 的引导有效性，同时样本使用量比最佳基线少 50倍（在多元化对齐任务中验证）。

4. SAHOO: Safeguarded Alignment for High-Order Optimization Objectives in Recursive Self-Improvement#

作者: Subramanyam Sahoo, Aman Chadha, Vinija Jain, Divya Chaudhary
链接: arXiv:2603.06333
方向: 对齐 / 递归自改进
会议: ICLR 2026 Workshop on AI with Recursive Self-Improvement

核心创新: 递归自改进正从理论走向实践，但迭代自修改存在微妙对齐漂移风险。SAHOO 提出三层防护机制：(i) 目标漂移指数（GDI）：结合语义、词汇、结构和分布测量的多信号检测器；(ii) 约束保持检查：强制执行语法正确性、非幻觉等安全关键不变量；(iii) 回归风险量化：标记可能撤销先前收益的改进循环。

实验结果: 在189个任务（代码生成、数学推理、真实性）上的实验表明，SAHOO 在代码任务提升 18.3%，推理任务提升 16.8%，同时保持低违规率。研究还发现能力-对齐前沿呈现高效早期改进但后期对齐成本上升的模式。

5. Reasoning Models Struggle to Control their Chains of Thought#

作者: OpenAI
链接: arXiv:2603.05706 | HF Paper
方向: Reasoning / CoT监控

核心创新: Chain-of-Thought (CoT) 监控是检测推理模型不当行为和动机的有力工具，但如果模型能控制其在CoT中表达的内容，将削弱监控有效性。OpenAI 提出 CoT-Controllability 评估套件，要求模型在解决问题时遵守CoT指令（如遗传学问题中不使用”染色体”一词）。研究发现：推理模型的CoT可控性显著低于输出可控性——Claude Sonnet 4.5 的CoT可控性仅2.7%，而输出可控性达61.9%。

关键发现:

• 更大模型的CoT可控性更高
• RL训练、测试时计算和问题难度增加会降低CoT可控性
• 对抗优化提示不能显著提升可控性
• 告知被监控时模型可控性略有提升

结论: 当前CoT可控性不太可能成为监控失效模式，但机制尚不明确，建议前沿实验室追踪此指标。

6. FlashPrefill: Instantaneous Pattern Discovery and Thresholding for Ultra-Fast Long-Context Prefilling#

作者: Qihang Fan, Bingning Wang, Juqiu Wang, Zhiying Wu, Huaibo Huang
链接: arXiv:2603.06199 | HF Paper
方向: AI Infra / 长上下文优化

核心创新: 长上下文建模是LLM的关键能力，但注意力二次复杂度在prefilling阶段构成严重瓶颈。FlashPrefill 提出瞬时模式发现和动态阈值化框架：(i) 快速块搜索技术同时定位动态垂直、斜向和块稀疏注意力模式；(ii) 动态阈值机制绕过排序和累积注意力分数的开销，有效消除长尾分布以增强稀疏性。

性能表现:

• 256K序列上27.78倍加速
• 与现有方法不同，短上下文下效率不降：4K长度仍保持 1.71倍加速
• 证明在各种序列长度上的鲁棒性和实用价值

7. WorldCache: Accelerating World Models for Free via Heterogeneous Token Caching#

作者: Weilun Feng, Guoxin Fan, Haotong Qin, Chuanguang Yang, Mingqiang Wu, Yuqi Li, Xiangqi Li, Zhulin An, Libo Huang, Dingrui Wang, Longlong Liao, Michele Magno, Yongjun Xu
链接: arXiv:2603.06331 | HF Paper
方向: World Models / 扩散模型加速

核心创新: 基于扩散的世界模型在统一世界模拟中展现潜力，但迭代去噪对交互式使用和长程展开而言计算成本过高。研究发现：单模态扩散的特征缓存策略难以迁移到世界模型，主要面临两个挑战：(i) 多模态耦合和空间变化导致的Token异质性；(ii) 少数困难Token驱动误差增长的非均匀时间动态。WorldCache 提出两种机制：(i) 曲率引导的异构Token预测：使用物理基础的曲率分数估计Token可预测性；(ii) 混沌优先的自适应跳过：累积曲率归一化漂移信号，仅在瓶颈Token开始漂移时重新计算。

实验结果: 在扩散世界模型上的实验表明，WorldCache 实现显著加速，同时保持生成质量。

8. Planning in 8 Tokens: A Compact Discrete Tokenizer for Latent World Model#

作者: Dongwon Kim, Gawon Seo, Minsu Cho, Suha Kwak
链接: arXiv:2603.05438 | HF Paper
方向: World Models / Tokenization
会议: CVPR 2026

核心创新: 世界模型为环境动态模拟提供强大框架，但应用于决策时规划时计算成本过高。关键瓶颈在于潜在表示：传统tokenizer将每个观察编码为数百个token，使规划既慢又耗资源。CompACT 是一种离散tokenizer，将每个观察压缩至仅 8个token，在保持规划所需关键信息的同时大幅降低计算成本。

实验结果: 使用CompACT的动作条件世界模型在规划性能上具有竞争力，同时实现数量级更快的规划速度，为世界模型的实际部署迈出重要一步。