ENTRY 001/010
[ 论文 · AGENT · 多模态 · 工具使用 · RLHF ]
Act Wisely：多模态 Agent 的元认知工具使用
(Act Wisely: Cultivating Meta-Cognitive Tool Use in Agentic Multimodal Models)
4 月 9 日论文提出 HDPO 框架解决多模态 Agent "工具过度调用"问题。核心贡献是把工具效率从"与任务性能竞争的标量目标"重构为"严格条件目标"——仅当任务本身可完成时才评估工具调用成本。作者 Shilin Yan 等 9 人团队。
工具过度调用是当前 Agent 部署最大的成本漏洞——开发者常观察到 Agent 连续调用 5-10 次 search/code execution 去解决一次调用就能完成的任务。过去的研究把"减少调用数"作为独立目标写进损失函数，结果在训练中被性能目标完全压制——模型学会"先把答案做对，成本之后再说"。
Act Wisely 的巧妙之处在于把成本约束从"前置惩罚"切换成"后置筛选"：只有当模型确实答对时才会看它用了几次工具。这等价于告诉优化器"先学会做对，再学会做便宜"，把两个目标的优先级显式解耦。对 4/8 简报 GLM-5.1 的 8 小时自主任务场景、4/10 简报 Claude Managed Agents 按会话小时计费的产品线，这类方法几乎是刚需——工具调用成本直接映射到商业毛利。
与 4/8 Claw-Eval（轨迹级 Agent 审计）放在一起看，Agent 研究社区正在把注意力从"任务完成率"转向"过程经济学"：一个 Agent 是否有意识地在"做对"与"做便宜"之间做权衡，正在成为新的评价维度。
ENTRY 002/010
[ 论文 · 3D重建 · TESTTIMETRAINING · 空间智能 ]
Scal3R：可扩展 Test-Time Training 的大规模 3D 重建
(Scal3R: Scalable Test-Time Training for Large-Scale 3D Reconstruction)
4 月 9 日论文提出神经全局上下文表示，高效压缩并保留长距离场景信息，解决长序列 3D 重建中的信息衰减问题。作者团队包括 Tao Xie, Sida Peng, Xiaowei Zhou 等。
把 Scal3R 与 4/8 In-Place TTT、4/9 Fast Spatial Memory 并排读，Test-Time Training 这一思路正在从"文本推理的小众技巧"演化为多模态长序列任务的标配架构范式。文本推理的 TTT 只能更新少量 MLP 投影矩阵，因为梯度信号稀疏；而 3D 重建的 TTT 天然匹配——每一帧都提供确定性强的视觉监督信号，可以持续驱动权重更新。
Scal3R 的关键贡献是解决"记忆压缩"问题：长序列重建需要模型记住几分钟甚至几小时前的上下文，但朴素 KV Cache 在物理场景下会爆炸。用神经压缩的全局上下文表示替代完整记忆，是一条工程上可行的折中路径。对 4/7 NVIDIA Cosmos Reason 2、机器人 SLAM、AR glasses 等连续运行场景意义直接：机器人可以在真实世界连续运行更久而无需重新初始化。
ENTRY 003/010
[ 论文 · 多模态 · GRPO · 训练方法 ]
OpenVLThinkerV2：Gaussian GRPO 训练多模态推理
(OpenVLThinkerV2: Generalist Multimodal Reasoning via Gaussian GRPO)
4 月 9 日论文引入 Gaussian GRPO 训练目标，用非线性的分布匹配替代标准线性 reward scaling，在多领域视觉任务上平衡"感知"与"推理"两种能力。作者包括 Wenbo Hu、Yihe Deng、Kai-Wei Chang 等。
GRPO 自 DeepSeek R1 以来已经成为开源推理模型训练的事实标准，但它的已知局限是 reward 的线性 scaling 倾向于让模型过度强化 high-reward 路径，对感知密集型任务（OCR、细粒度识别、密集预测）的梯度变得过于稀疏。Gaussian GRPO 的做法是把 reward 分布化——模型不仅要获得高 reward，还要让 reward 分布的形状对齐目标分布，这本质上是在监督信号中加入了一个二阶矩约束。
这条路线与 4/8 MMEmb-R1 的"推理增强 embedding"形成直接技术呼应，也预示着开源社区在 GRPO 基础上的下一轮优化方向——GRPO 不再是终点，而是一个可以在不同任务上做"目标分布工程"的起点。对训练多模态推理模型的团队而言，Gaussian GRPO 的配置几乎是"换一个 loss"的低成本改动。
ENTRY 004/010
[ 论文 · MOE · VLM · 诊断 ]
Seeing but Not Thinking：多模态 MoE 的路由分离现象
(Seeing but Not Thinking: Routing Distraction in Multimodal Mixture-of-Experts)
4 月 9 日论文诊断多模态 MoE 模型中的路由失衡现象：视觉专家与领域专家呈现逐层分离，图像输入会显著改变专家路由分布，造成"看得见但想不清楚"。作者团队来自阿里、浙大。
这是一篇诊断性论文而非完整方案，但它回答了过去一年多模态领域一个长期困惑的经验事实：为什么 Claude 3.7、GPT-4V、Gemini 在纯文本推理上的表现远优于相同模型在"有图像条件下"的同类推理？过往大家怀疑是训练数据问题，Seeing but Not Thinking 给出了一个结构性解释——MoE 内部的路由机制在图像 token 进入后会被拖偏到视觉专家集群，真正负责推理的文本专家得到的激活权重被稀释。换言之，视觉条件下模型"眼里有图但脑里没在思考"。
这也解释了 4/9 简报 Meta Muse Spark "原生多模态架构"的设计选择——从头训练时避免路由污染，效果会显著优于从文本 MoE 后期 retrofit 视觉能力。对 DeepSeek、Qwen、智谱 GLM 的后续多模态路线也是一个技术警示：单纯扩展视觉 token 不够，需要对路由器本身的训练目标做显式干预，否则推理能力会被视觉输入持续侵蚀。
ENTRY 005/010
[ 论文 · 具身智能 · SIM2REAL · 数据生成 ]
SIM1：可变形物体操作的物理对齐零样本数据放大
(SIM1: Physics-Aligned Simulator as Zero-Shot Data Scaler in Deformable Worlds)
4 月 9 日论文提出物理对齐的 real-to-sim-to-real 管线用于可变形物体（布料、软体、液体）操作策略训练。关键数据点：用合成数据训练的策略在真实世界达到 1:15 等效比——15 条合成数据顶 1 条真实数据。作者 15 人团队，主要来自上海 AI 实验室。
1:15 的等效比是一个令人警觉的数字。过去可变形物体操作（折叠衣服、倒水、压面团）是机器人领域最头疼的子领域——物理特性难建模，合成数据与真实数据的 gap 巨大，通常需要 100-1000 倍的合成数据才能抵一条真实数据。SIM1 把这个比率压到 1:15，意味着"完全从仿真训练，再零样本部署到真实"的路径从理论可能变成了工程可行。
这条技术路线的战略意义在于把"具身智能的数据瓶颈"转变为"物理模拟器的算法问题"——后者显然比"雇佣机器人操作员采集数据"的扩展性强几个数量级。结合 4/8 Gym-Anything（把任意软件变 Agent 环境）、4/9 Fast Spatial Memory（长序列 3D 重建）形成完整闭环：环境生产 → 物理仿真 → 轨迹训练 → 长上下文推理。对想布局机器人操作的团队而言，SIM1 的复现价值极高。
ENTRY 006/010
[ 论文 · 视频生成 · 扩散模型 · 可控生成 ]
NUMINA：文本到视频扩散模型的数字-对象对齐
(When Numbers Speak: Aligning Textual Numerals and Visual Instances in Text-to-Video Diffusion Models)
4 月 9 日论文提出 NUMINA 框架解决 T2V 扩散模型的物体计数错误问题。通过选择具有判别力的 self/cross-attention head 识别 prompt-layout 不一致，实现精确的数字-物体对齐。
"生成准确数量的物体"是扩散模型最顽固的短板之一——提示"3 只猫"可能得到 2 只或 5 只，提示"7 个苹果"几乎肯定翻车。这个问题不是 scale 可以解决的，Stable Diffusion 3、SD XL、Flux 甚至 Sora 2、Veo 3 都没有彻底解决。NUMINA 的思路切入点很细：通过对 cross-attention heads 做判别力分析，识别哪些 head 专门编码了数字语义与视觉位置的对应关系，然后在采样阶段对这些 head 做显式干预。
这条路径比"加大训练数据"更可能成功——它承认某些计数能力其实已经存在于模型内部，只是被其他注意力头的噪声淹没了。对 Runway、Pika、Kling、以及正在部署文生视频 API 的所有团队，NUMINA 的方法论几乎可以直接 drop-in。配合 4/9 HuggingFace Space 榜上 Z-Image-Turbo、FireRed-Image-Edit 等扩散推理加速工具，扩散模型的"可控性工程"正在成为独立研究分支。
ENTRY 007/010
[ 量化 · 推理优化 · NVFP4 · GEMMA4 ]
NVIDIA 发布 Gemma-4-31B-IT NVFP4 量化版
(NVIDIA Releases Gemma-4-31B-IT in NVFP4 Format)
NVIDIA 将 Google Gemma-4-31B-IT 用 NVFP4 格式重新量化并上架 HF，迅速进入 Trending 榜。下载量已达 565,972、点赞 345。NVFP4 是 Blackwell 架构的原生 4-bit 浮点格式，相比 FP8/FP16 可提供显著的内存和带宽节省。
NVFP4 是 Blackwell 发布时推出的新 4-bit 浮点格式，与 INT4 量化的关键区别在于它保留了浮点的动态范围——在处理 attention 中 outlier 通道时精度损失远小于整数量化。NVIDIA 在 Blackwell 硬件和 TensorRT-LLM 支持之后开始把 NVFP4 作为推理部署的主推格式，但过去一直集中在 NVIDIA 自己的 Nemotron 系列模型上。这次把 Gemma 4 31B 作为 NVFP4 发布的第一个"其他家开源基础模型"，是 NVFP4 生态第一次正式对外扩展。
对部署 Gemma 4 的团队而言，NVFP4 版本意味着在 Blackwell GPU 上可以直接获得接近 2-3 倍的推理 throughput（相比 FP16）而不丢失 SWE-Bench 之类关键任务的精度。这也是 NVIDIA 在开源模型竞争中保持影响力的一个精明动作——不与 Google 争模型本身，而是在推理层把 Gemma 4 的最佳运行环境锁定在自家硬件上。结合 4/7 简报 TurboQuant、4/8 TriAttention、PoM 等推理栈优化趋势，量化已经从"配角"升级为"开源模型竞争的主战场"。
ENTRY 008/010
[ 开源 · RAG · 工具链 · 文档处理 ]
microsoft/markitdown 冲破 100K 星：文档转 Markdown 工具成 RAG 生态事实标准
(Microsoft markitdown Crosses 100K Stars as RAG Preprocessing Standard)
Microsoft 开源的 markitdown 单日增长 +2,352 星冲破 100K 总星（100,974）。工具把 PDF、Word、Excel、PPT、图像等几乎所有办公文档格式统一转成 Markdown，被广泛用作 RAG 系统的数据预处理前端。
markitdown 的爆发曲线是一个典型的"基础设施项目延迟成名"案例。项目从 2024 年底开始维护，核心功能是简单的——把各种办公文档转成 LLM 可读的 Markdown。但 2026 年 RAG 系统的大规模部署让它的价值被突然放大：构建企业知识库的所有团队都面临一个完全相同的前置问题（各种脏格式文档怎么进向量库），而 markitdown 把这个问题的 90% 用一个 pip install 解决了。
把它放在当前 RAG 技术栈里看：上游有 Docling、unstructured.io 这类更复杂的文档解析工具，下游有 LlamaIndex、LangChain 这类编排层，markitdown 占据的是最薄但最被大量引用的"格式归一化"层。单日 +2,352 星不可能来自主仓更新——更可能是某个知名开发者或教程带起的 viral 效果。对开发者而言实用意义明确：如果你的 RAG 管线还在自己拼装 PDF parser、docx2txt 等零散工具，现在可以直接替换成 markitdown。
ENTRY 009/010
[ 开源 · AGENT · 科研 · 技能库 ]
K-Dense-AI scientific-agent-skills：科研 Agent 的可复用能力库
(K-Dense-AI scientific-agent-skills: Prebuilt Agent Capabilities for Research)
项目提供一组预构建的 Agent skill 组件，覆盖科研、科学分析、工程、金融四个领域的常见任务模块化封装，总星 18,106，单日 +158。
"Skill 作为 Agent 的可组合单元"这一范式在 4/10 简报 Anthropic 推出 Claude Skills 时已经得到官方背书。K-Dense-AI 的 scientific-agent-skills 是开源社区对同一模式的实现，重点锁定科研场景——文献检索、实验记录、数据分析、论文撰写等典型工作流。与 4/10 NousResearch hermes-agent 的"会自我成长的通用 Agent"路线形成互补：前者做自我演化的通用底座，后者做领域聚焦的能力预制。
这个方向值得所有做"垂直 Agent 落地"的团队关注——通用 Agent 的能力上限由基础模型决定，但落地门槛由可复用的 skill 质量决定。科研场景下的 skill 可复用性尤其高，因为研究工作流的模式相对稳定（实验设计、数据采集、统计分析、可视化、撰写），非常适合作为可组合组件封装。
ENTRY 010/010
[ GOOGLE · GEMINI · 多模态 · 可视化 ]
Google Gemini 交互式 3D 可视化输出
(Google Gemini Adds Interactive 3D Model Visualizations in Chat)
Gemini 聊天界面新增交互式 3D 模型能力，用户可在对话中直接旋转、缩放、拆解复杂概念的 3D 可视化。面向教育、科学演示、产品设计场景。
这条产品更新的技术含量在于"对话界面作为富输出容器"的渲染模式——LLM 不只是输出 3D 模型的文本描述，而是生成可被客户端直接实例化的结构化 3D 数据，并在 web canvas 上提供完整交互。这把 LLM 输出从"文本/代码/图像"扩展到"可交互 3D 场景"，本质上要求模型内部对 3D 结构的表示已经足够精确。
对比 4/9 简报 Simon Willison 评测 meta.ai 挂载 16 个工具，Gemini 走的是不同路径：不是通过工具调用去渲染 3D，而是让模型原生生成结构化 3D 数据。后者对基础模型的 3D 表示能力提出了更高要求，但一旦打通就能绕过工具编排层的延迟和错误累积。教育、医学、分子生物学这些依赖 3D 理解的场景会是第一批受益者——学生问"血液循环"可以直接得到可旋转的心脏模型，而不是一张静态图。