6D 物體姿態是一種剛性變換，包含三維平移和三維旋轉。它通常表示相對於相機的物體座標系或反之，但僅憑這六個數字並不能揭示方向、時間戳、對稱性或不確定性。
機器人抓握不能只看相機座標下的物體姿態。相機內參、深度尺度、手眼校正、取像當下的機器人狀態、物體與夾爪幾何、可達性及碰撞檢查，都會決定這個估計能否轉成可執行的工具姿態。
將此指南與 機器人抓握規劃指南 及 座標框指南一起使用。將命名變換和時間貫穿完整的感知到運動鏈。
定義平移、旋轉和變換方向
平移將一個影格原點定位在另一個影格中。旋轉描述軸向。矩陣、四元數、旋轉向量或尤拉角都可以編碼相同的方向，但每種表示都有必須檔案化的慣例和奇點。
相機到物體和物體到相機的變換是反向的。錯誤方向應用正確的數值旋轉和平移可能會使機器人進入映象或遠距離姿勢。在變數、訊息和紀錄中使用顯式影格名稱。
定義該姿態是指 CAD 物件原點、可見例項影格、物件中心還是任務資料。
選擇物件引導證據
基於模型的系統可以使用 CAD 幾何體、渲染檢視或帶紋理的模板。無模型系統可以使用參考影像或引導序列。 RGB、RGB-D 和僅深度的流水線對紋理、比例、缺失的深度和光照做出不同的假設。
目前 的 BOP 基準 涵蓋 6DoF 姿態及相關任務，包括近期基於模型和無模型的挑戰。將評估任務與部署的入職和感測器條件相匹配。
| 輸入證據 | 主要強度 | 典型依賴 | 失效壓力 |
|---|---|---|---|
| RGB 加 CAD | 紋理與幾何結構 | 準確的渲染與模型 | 外觀差距 |
| RGB-D 加 CAD | 公制表面證據 | 深度質量與對齊 | 反射深度或缺失深度 |
| 參考圖片 | 快速物件上線 | 檢視報道 | 未露面的出現 |
| 深度雲或點雲 | 形狀對齊 | 初始姿態與重疊 | 對稱性與遮擋 |
| 多重檢視 | 更多報道 | 時間與關聯 | 移動物體 |
校正相機的內部特徵和深度刻度
焦距、主點和鏡頭畸變將影像畫素對映到相機光線。錯誤的內在模型會導致位置和方向誤差在影像中變化。如果參數轉換不一致，裁剪、調整大小或數字變焦可能導致校正失效。
RGB-D 系統還需要深度刻度、深度與顏色比准以及無效深度處理。驗證已知目標在多個距離和多個影像位置。
校正攝影機與機器人的關係
手視系統需要相機相對於移動工具進行變換；固定相機則需要轉換為機器人底座或工作單元。手眼校正精度取決於機器人姿態精度、目標幾何結構及多樣化校正運動。
使用一個保持的物理目標來檢查完整的基座到目標結果。小的相機重投影誤差並不保證機器人接近誤差會很小。
在求解姿態前建立對應關係
常見流程會先偵測或分割物件，再預測 2D–3D 對應點或關鍵點，求解一個或多個候選姿態，最後進行細化與評分。對應點的品質與空間分布都很重要；點數再多，若集中在局部區域，對姿態的約束仍可能很弱。
保持內點數、可見分數和殘差模式。高神經網路信心分數無法替代幾何一致性。
使用帶有顯式攝影機幾何的 PnP
透視-n 點透過已知的 3D 物體點、其 2D 影像投影和相機內參估算相機-物體姿態。不同求解器對點數、平面性和初始化處理方式不同。魯棒取樣可以排除部分離群值，但需要有效的內點結構。
OpenCV solvePnP 文件列出可用的方法與約定。在單元測試中驗證具體求解器、標誌、點位配置與回傳的變換方向。
| 檢查 | 它捕捉到了什麼 | 度規 | 拒絕例 |
|---|---|---|---|
| 重投影 | 影像-幾何不匹配 | 畫素殘差 | 大結構誤差 |
| 深度一致性 | 比例或表面錯誤 | 點到模型距離 | 缺失可見表面 |
| 對稱集 | 等效旋轉 | 對稱感知姿態誤差 | 任意角度懲罰 |
| 變換鏈 | 影格或時間錯誤 | 基影格目標殘差 | 過時機器人狀態 |
| 抓握試驗 | 任務不匹配 | 成功與接觸 | 碰撞或無法到達 |
在不信任錯誤初始姿勢的情況下，細化深度對齊
深度或點雲細化可以將觀測面與 ICP 或其他目標對齊模型。這是一種區域性最佳化，尤其當只有一側可見時，可能會強化錯誤的初始假設。
限制對應距離，拒絕無效曲面，並將最終姿態與影像證據進行比較。點雲配準指南說明了局部收斂與退化。
在訓練和評估中表示物件對稱性
一個圓柱體、重複的緊固件或旋轉對稱部件可以產生多個視覺和物理等效的姿勢。將任意旋轉判罰為錯誤，會導致誤導性的訓練和指標。
定義物件和任務幾何的離散或連續對稱變換。當下遊抓握或聯結器方向破壞視覺對稱時，保留多個候選變換。
分離的遮擋、截斷和例項歧義
遮擋會隱藏物體表面，截斷會去除影像邊緣的部分，類似情況則會導致關聯模糊。反光或透明材料可能會使深度失效。這些失效需要不同的資料和拒絕策略。
報告可見分數、影像邊界接觸、深度覆蓋率及競爭例項分數。不要將所有失敗壓縮為一個信心分數數值。
在獲取時進行變換
手持攝影機會隨著機器人移動，目標也可以移動。使用對應影像或深度採集的機器人關節狀態和影格變換，而不是使用主機收到資料的時間。延遲會產生與相對運動成正比的位置誤差。
應用 機器人時間同步工作流程 並記錄時間戳事件。僅用經過驗證的動態模型和有界地平線預測運動。
分別評估姿勢指標並把握成功
平移、旋轉、重投影和對稱感知表面指標描述不同的誤差。資料集平均值可以隱藏單個物體、姿態、遮擋或距離的失效。報告各條件分佈和拒絕覆蓋率。
然後測量實際抓握距離、接近間隙、接觸、升力和位置。一個姿勢可能滿足視覺指標，但抓握偏移或與箱子碰撞較差。
連同操作脈絡發布姿態估計
輸出影格名稱、變換方向、時間戳、物件身份、對稱假設、不確定性、可見證據和拒絕理由。下游運動軟體應知道估計值是新的、預測的、精細的還是過時的。
釋出時要有一份簡明的清單。
評估“機器人抓取的 6D 物體姿態估計”時，還應儲存模型版本、機器人設定、校正檔案、測試日期和全部試驗記錄。
只有把這些持續投入與單位成功任務的價值比較，才能判斷方案是否適合擴大。
上線後仍要持續檢查分佈變化、感測器漂移、機械磨損和人工接管原因。
實際專案還應指定資料、模型、控制器和安全流程的負責人，並預先定義回復條件。責任邊界、審批記錄與變更紀錄越清楚，故障發生後越容易停止擴散、定位原因並安全恢復。
把任務拆成感知、決策、動作執行和結果確認，可以更準確地定位瓶頸。每一階段都應有獨立指標與失敗示例，避免用端對端成功率掩蓋偶發但嚴重的風險。
引用的產品規格、論文結果和監管要求需要記錄釋出日期與適用版本。資料更新後應重新核對關鍵結論；無法從一手來源確認的內容，應明確標註為待驗證資訊。
小規模試點的價值在於提前暴露介面、人員協作和異常處理問題。試點結束後應依據預設門檻決定擴大、修改或停止，而不是因為已經投入資源就預設繼續。
所有結論都應能夠追溯到原始記錄，並可複核。
介面定義變化時，舊資料和舊控制參數不能在未經驗證的情況下直接複用。
- 名稱、姿勢方向和物體基準。
- 驗證內在因素、深度和手眼校正。
- 保留幾何殘差和對稱候選。
- 用匹配機器人的時間戳變形。
- 驗證姿勢指標和已執行的抓握。
常見問題
6D 位姿中的“6”表示什麼？
三個平移座標加上三個旋轉自由度；但這並不意味著有六個獨立的感測器測量。
僅靠 2D 探測器能支援抓握嗎？
它可以定點陣影像區域，但一般的 3D 抓取仍需深度、幾何和校正假設。
RGB-D 總是更準確嗎？
不會。深度缺失、雜訊或誤判會降低姿態；效能取決於材料、距離、校正和方法。
對稱圓柱體應如何評分？
使用任務定義的等效旋轉集合或對稱性感知的曲面度量，而非任意一個角度。
為什麼正確的姿勢仍然會導致抓握失敗？
手眼、時機、抓握偏移、可達性、碰撞、接觸和物體運動等因素仍屬下游因素。
姿態假設與可執行抓取邊界
6D 姿態估計是在指定座標框架下成立的假設，不等於機器人已獲准移動。校正、時序、可達性、碰撞檢查與任務證據都應納入運動放行條件。