版本更新: Google计划于2026年8月31日停止提供旧版gemini-robotics-er-1.6-preview。其后续型号Gemini Robotics ER 2目前处于公开预览阶段。新的模型ID、价格和迁移范围请参阅ER 2价格与API指南。停止日期以Gemini API官方更新日志为准；下方原文将作为ER 1.6的历史说明保留。
Gemini Robotics-ER 1.6 是一个具身推理模型，旨在将视觉和语言理解与对机器人有用的空间输出连接起来。它可以推理物体、区域、轨迹和计划，但不能替代校准感知、运动规划、低级控制或安全系统。
工程问题是概率模型输出如何跨越到确定性机器人栈。坐标需要框架和比例，计划需要可达性和碰撞检查，动作需要极限、反馈和在场景或模型假设错误时的恢复。
本指南补充了 《物理人工智能控制循环》 和 GR00T模型指南。产品访问、能力、限制和API行为可能会发生变化，请查阅当前的主要文档。
ER强调具身推理而非低层次的驱动
Google DeepMind的 模型卡 将 Gemini Robotics-ER 1.6 描述为具备空间和具身推理能力的视觉语言模型。它能够支持机器人应用中的感知和规划问题。
其输出仍然是提案或结构化信息。机器人系统必须决定如何验证、转换和执行它们。不要用运动指令来描述一个点、一个方块或轨迹。
输入应揭示任务并协调假设
图像、视频帧、语言指令及相关上下文定义模型的视图。相机内在因素、姿势、裁剪、时间戳和场景变化会影响输出与物理空间的映射。
记录精确提示、型号标识符、 API 设置和输入预处理。如果未提供机器人状态或工具几何形状，模型不能被假定知道。对下游软件消耗的每个模式纳入版本管理。
定位点和盒子需要坐标契约
模型可以识别图像点、区域或物体位置。下游代码必须知道坐标是像素、归一化值、摄像机帧位置还是其他约定。图像大小调整和方向必须保持一致。
验证坐标与已知标记和物体的关系。拒绝越界、模糊或低置信度输出。视觉上合理的叠加仍可能在度量上错误，无法用于抓取。
| 输出 | 有用的 | 必须转换 | 关键检查 |
|---|---|---|---|
| 指向或盒子 | 物体指代定位 | 图像坐标映射 | 界限与同一性 |
| 深度或几何形状 | 空间关系 | 相机校准与比例 | 度量误差 |
| 轨迹草图 | 意图或路径提示 | 时间与机器人框架 | 碰撞与可达性 |
| 任务规划 | 动作序列 | 技能与状态映射 | 前提条件与恢复 |
空间推理必须与校准后的几何结构进行调和
机器人规划使用摄像机模型、变换、运动学和环境几何。模型的语义理解可以选择对象或关系，而校准感知则提供度量姿态和不确定性。
显式融合源，而不是默默用模型估计替换几何。每次变换和观察都给时间戳。动态场景需要在执行前确认，因为推断后人或物体可能会移动。
官方示例展示了界面边界
官方机器人文档展示了模型输出如何描述场景元素和轨迹。这些示例有助于定义可能的API交互，而非保证在任意机器人、摄像头和任务间的成功。
用置顶输入复现示例，然后测试被保留的物体、光线、杂乱和视角。测量有效输出以及弃权或失败行为。演示应转化为可重复的测试。
计划应该映射到受限的技能库
语言层面的计划如“拣选”、“放置”或“打开”应定义为具有明确参数、前提条件、限制和成功检定的技能。自由文本不应直接传递给无限制机器人动作。
执行层可以请求澄清、重新观察或在参数缺失时停止。技能应报告已验证的结果和失效代码，以避免模型或规划器假设已完成。
动作规划和控制仍然是分开的安全边界
经空间定位的目标进入反向运动学、碰撞检查、轨迹生成和底层控制。关节限制、速度、力、工作区和保护区均独立执行，不依赖模型建议。
通过感知和机器人反馈监控执行。仅在有限制规则内重新规划；否则安全停止。安全级功能应排除在一般模型之外，除非在适当的架构中经过特别验证。
| 失败 | 检测 | 立即反应 | 工程证据 |
|---|---|---|---|
| 错误的物体 | 身份验证 | 不要执行 | 混淆矩阵与试验 |
| 帧不匹配 | 几何合理性检查 | 拒绝输出 | 校准测试 |
| 无法到达的目标 | 运动学检查 | 请求替代方案 | 可达性覆盖 |
| 碰撞路径 | 规划器检查 | 阻止轨迹执行 | 场景套件 |
| 场景转换 | 新鲜观察 | 停止或重新规划 | 延迟与动态测试 |
评估需求、任务分母和失败分类法
统计有效的试验数，而不仅仅是成功的例子。区分对象基础、空间精度、计划有效性、运动可行性、执行成功率和恢复。最终任务失败可以从任何层开始。
使用保留的场景和带有受控变异的重复试验。报告干预、延迟、无效输出和戒除率。与同一工作流程下更简单的感知或脚本基线进行比较。
延迟、成本和隐私都会影响部署
云API调用引入了网络延迟、可用性和数据治理问题。本地预处理和缓存可以提供帮助，但不应造成过时状态。当服务不可用时，系统需要超时和明确的行为。
衡量端到端决策时间和任务价值，而非仅仅建模延迟。审查来自工作场所或人员图像的数据保留、访问控制及区域需求。部署前应核查当前服务条款。
渐进式集成路径降低了硬件风险
先从录制图像和离线评分开始，然后使用阴影模式、仿真和防护机器人配置。在扩展任务或速度前，要求在每个边界进行确定性验证。
维护提示、模式、校准、测试和日志作为版本管理工件。当模型在机器人保持有限制控制和安全恢复的同时，提升已验证的任务结果时非常有用。
评估“Gemini Robotics-ER 1.6：空间推理、API输出与集成”时，还应保存模型版本、机器人配置、标定文件、测试日期和全部试验记录。把成功、失败、恢复与人工介入放在同一份数据中，才能区分模型能力、系统接口和现场流程造成的差异。
- 固定模型版本、提示词和输出模式。
- 定义坐标、帧和比例。
- 验证几何形状、可达性和碰撞。
- 只通过有明确边界的技能和控制器执行动作。
- 测量故障、延迟、干预和恢复情况。
常见问题
什么是Gemini Robotics-ER 1.6？
它是一种具身推理的视觉语言模型，旨在提供在机器人应用中有用的空间基础理解。
Gemini Robotics-ER能直接控制电机吗？
单独不行。其输出应通过几何验证、规划、低层控制和独立安全限制。
机器人模型能提供哪些定位输出？
根据当前的API类型，示例可以包括点、区域、空间关系、轨迹或结构化任务规划。
应如何评估 ER 输出？
测量定位准确率、坐标有效性、计划可行性、任务成功率、延迟、干预措施及失败恢复，均为多次进行的试验。
它能取代机器人安全系统吗？
不。安全功能需要基于危害的架构和经过验证的保护机制，独立于一般概率模型输出。
型号与API版本说明
模型的可用性、访问、 API模式和能力可能会发生变化。请核实当前的官方模型卡和文档、引脚版本，并将几何、控制和安全验证排除在不可信的模型输出之外。