AI 技术日报 | 2026-07-09

⚙️ 工程可行

TGI 正式退役：Hugging Face 推荐迁移 vLLM 或 SGLang

• 来源：TECHSY
• 日期：2026-07-08（基准测试更新）
• 核心：Hugging Face 于 2025 年 12 月将 Text Generation Inference (TGI) 置于维护模式，Inference Endpoints 默认切换到 vLLM，SGLang 作为备选
• 解读：
  • 迁移背景：TGI 停止新增功能，仅接受 bug 修复，意味着生态重心已完全转向 vLLM/SGLang
  • 2026 H100 基准测试数据（Llama 3.3 70B FP8）：

    并发	vLLM (tok/s)	SGLang (tok/s)	差距
    1	120	125	SGLang +4%
    10	650	680	SGLang +5%
    50	1,850	1,920	SGLang +4%
    100	2,400	2,460	SGLang +3%

  • 小模型差距扩大：Llama 3.1 8B 测试中，SGLang 达到 16,200 tok/s vs vLLM 12,500 tok/s，差距 29%
  • TTFT 尾延迟：SGLang p95 在所有并发级别下比 vLLM 低 5-8%
  • 结构化输出：SGLang 重叠 mask 生成与推理，vLLM 在 batch≥8 时显著降速
  • 硬件覆盖：vLLM 支持 NVIDIA/AMD/Intel/Trainium/TPU；SGLang 仅支持 NVIDIA/AMD
• 工程启示：
  • TGI 迁移决策：OpenAI 兼容 API 使得切换成本低，建议评估后选择
  • 选型建议：
    • Agent 工作流 + RAG + 多轮对话 → SGLang（RadixAttention 自动前缀缓存）
    • 多云部署 + 非 NVIDIA 硬件 → vLLM（更广硬件支持）
    • 50+ LoRA 适配器 → SGLang（原生多 LoRA 批处理）
  • 实测建议：两者都部署一天，对比实际业务指标再做决定

Workload-Router-Pool：vLLM Semantic Router 发布 LLM 推理优化架构

• 来源：arXiv:2603.21354
• 日期：2026-04-08
• 核心：vLLM Semantic Router 项目发布 WRP（Workload-Router-Pool）三维框架，整合过去一年的推理优化工作
• 解读：
  • WRP 三维度：
    1. Workload（负载）：chat vs agent、单轮 vs 多轮、热启动 vs 冷启动、prefill-heavy vs decode-heavy
    2. Router（路由）：静态语义规则、在线 bandit 适配、RL 模型选择、质量感知级联
    3. Pool（资源池）：同构 vs 异构 GPU、分离式 prefill/decode、KV-cache 拓扑
  • 已覆盖能力：
    • 信号驱动路由、上下文长度池路由
    • 语义缓存、幻觉检测、分层内容安全分类
    • 多模态 Agent 路由、工具选择、CUA 安全
    • 多轮上下文记忆、fleet 供应与能效分析
  • 21 个研究方向的交叉矩阵：负载-路由-资源池 3×3 交互矩阵中的开放问题
• 工程启示：
  • 语义路由价值：在多租户场景下，通过上下文长度池路由可降低 30% 成本
  • 质量感知级联：小请求用 SLM，大请求升级到 LLM，节省成本同时保证质量
  • Fleet 优化：根据负载特征动态扩缩容，预计能效提升 20-40%

✅ 实践验证

Tool RAG：从”给 Agent 所有工具”到”智能检索最相关工具”

• 来源：Red Hat Emerging Technologies
• 日期：2026-02-05（ToolScope 发布更新）
• 核心：Red Hat 发布 ToolScope 库（GitHub），将文档 RAG 思想应用于工具检索，解决 Agent 工具规模化问题
• 解读：
  • 问题背景：企业 AI 系统中工具数量从数个增长到数百甚至数千，全部塞入 prompt 会导致模型困惑、幻觉增加、性能下降
  • 核心方案：像检索文档一样检索工具，只将最相关的工具呈现给 LLM
  • 性能提升：Anthropic RAG-MCP 论文显示，智能工具检索可将工具选择准确率从 13% 提升到 43%，同时减少一半 prompt 长度
  • ToolScope 架构：
    • 语义检索层（工具描述、API schema、使用模式）
    • LLM 辅助重排序
    • 查询改写（将用户请求转为有效检索词）
    • 反馈循环（工具执行结果反哺检索质量）
  • 相关研究：COLT（对比学习+图神经网络）、Tool2Vec、ToolShed、Graph RAG-Tool Fusion
  • 局限性：多步工具链推理仍未成熟，仅支持单步工具调用
• 工程启示：
  • 适用场景：工具数量 >10 个的 Agent 系统（如企业级 Copilot）
  • 与 MCP 结合：MCP 标准化工具描述 schema，可直接作为 Tool RAG 的检索索引
  • 架构设计：工具注册表 → 向量化 → 语义检索 → 排序 → 呈现给 Agent
  • 快速验证：可先用 ToolScope 库验证概念，再根据业务需求定制

A2A 协议：超过 150 个组织加入，进入主流云厂商

• 来源：Linux Foundation Press
• 日期：2026-06
• 核心：Agent-to-Agent (A2A) 协议在 Open Source Summit Europe 2026 宣布重大进展，成为企业 Multi-Agent 架构的关键协议
• 解读：
  • 生态数据：
    • 150+ 组织加入 A2A 协议联盟
    • 进入主流云厂商（AWS、Azure、GCP 集成中）
    • 与 MCP 互补：MCP 处理 Agent→工具，A2A 处理 Agent→Agent
  • 协议定位：A2A + MCP + AP2（Agent 支付）构成完整 Agent 协议栈
  • 应用场景：
    • 企业工作流自动化（跨系统 Agent 协作）
    • 多租户 Agent 市场（服务发现与调用）
    • 分布式推理编排（Multi-Provider API）
• 工程启示：
  • 协议选型：新项目应同时考虑 MCP（工具集成）+ A2A（Agent 间通信）
  • 云厂商集成：等待主流云厂商正式支持，降低自建协议成本
  • 多 Agent 架构：A2A 为复杂业务场景提供标准化 Agent 间通信方案

🔥 能力突破

World Models 2026：JEPA vs 生成式模型的技术路线之争

• 来源：Zylos Research
• 日期：2026-01-21（持续更新）
• 核心：世界模型成为 2026 年 AI 最热方向，LeCun 离职 Meta 创办 AMI Labs、DeepMind Genie 3 发布、NVIDIA 推出 Physical AI 平台
• 解读：
  • 核心范式差异：

    维度	生成式模型 (LLM)	JEPA 世界模型
    预测目标	下一个 token/pixel	抽象表征
    输出空间	原始数据	潜在嵌入
    不确定性处理	需枚举所有可能	可丢弃不可预测信息
    训练效率	数据饥渴	提升 1.5-6 倍
    幻觉问题	常见	架构上减少

  • 商业化进展：
    • 自动驾驶：80%+ 算法使用世界模型辅助训练，成本降低 50%，效率提升 70%
    • 机器人：V-JEPA 2 实现零样本新环境控制
    • Robotaxi：Uber、Mobileye 计划 2026 年部署
  • 关键玩家现状：
    • AMI Labs（LeCun）：目标估值 $3.5-5B，基于 V-JEPA 构建
    • Meta JEPA 家族：V-JEPA 2（视频理解）、VL-JEPA（视觉-语言，50% 更少参数达到同等性能）
    • DeepMind Genie 3：24 FPS 实时交互，720p 分辨率
    • NVIDIA Cosmos：Alpamayo（自动驾驶推理）、Reason 2/Predict 2.5/Transfer 2.5
• 工程启示：
  • 技术选型：对于需要物理世界模拟的场景（机器人、自动驾驶），世界模型是 LLM 的必要补充
  • 数据效率：JEPA 方法在数据稀缺场景（稀有事故、长尾场景）有显著优势
  • 混合架构：未来可能是”LLM 规划 + 世界模型模拟”的组合范式
  • 投资机会：Physical AI 2025 年 VC 投资 $22.2B（同比+69%），2026 年预计翻倍

---

📊 要点总结

今日关键

1. TGI 退役：Hugging Face 停止 TGI 新功能开发，推荐迁移 vLLM/SGLang，2026 H100 基准测试显示 SGLang 在 Agent 场景领先 3-29%
2. WRP 架构：vLLM Semantic Router 发布三维推理优化框架，为大规模部署提供系统化方法论
3. Tool RAG：Red Hat 发布 ToolScope 库，工具检索准确率从 13% 提升到 43%，prompt 长度减半

需要关注

• A2A 协议：150+ 组织加入，进入主流云厂商，Multi-Agent 架构协议栈成型
• World Models 商业化：自动驾驶 80%+ 算法使用世界模型训练，Robotaxi 2026 年大规模部署
• JEPA vs 生成式：技术路线之争持续，JEPA 在数据效率和物理理解上有优势

行动项

• 评估团队 Agent 项目的推理引擎选型：多轮对话/结构化输出 → SGLang，多云/多硬件 → vLLM
• 关注 ToolScope 库（GitHub 已发布），评估在团队 Agent 系统中引入 Tool RAG 的可行性
• 对于需要物理模拟的机器人/自动驾驶项目，评估世界模型（如 V-JEPA 2）的技术成熟度

---

生成时间：2026-07-09 08:00:00 (Asia/Shanghai)
数据来源：Tavily Web Search + arXiv + 技术博客
关键词覆盖：LLM inference, vLLM, SGLang, TGI, Tool RAG, A2A Protocol, World Models, JEPA, WRP Architecture 时效检查：✓ 所有内容 ≤30 天 去重检查：✓ 与近3日日报无重复