先給結論:讓完整機器人工作負載持續執行到熱平衡,再判定計算機是否合格。感測器接入、預處理、推論、後處理和控制釋出要同時開啟,並把 P50、P95、P99 延遲與溫度、功耗、CPU/GPU/記憶體時鐘、記憶體佔用和丟影格放在同一時間軸上。
Jetson 可依據 NVIDIA 的平台功耗與效能檔案鎖定對應版本的功耗和熱管理。硬體架構選型見機器人 CPU、GPU、NPU 比較,部署見機器人邊緣 AI,輸入設計見機器人感測器,關節發熱則屬於機器人關節熱管理問題。
TOPS 是計算能力上限,不等於機器人持續執行時的反應時間
TOPS 取決於運算類型和數值精度,不能自動覆蓋攝影機解碼、資料複製、CPU 預處理、記憶體競爭、引擎執行、後處理、規劃和 ROS 2 傳輸。兩台峰值 TOPS 相同的裝置,攝影機到指令的延遲可能完全不同。
冷機開放台架上的短測試也看不到風扇、散熱器和封閉機箱蓄熱後的時鐘狀態。採購標準應問巡檢後半段是否仍滿足控制週期,而不是開機瞬間最高分。
| 指標 | 能說明什麼 | 單獨不能證明什麼 |
|---|---|---|
| TOPS | 指定精度下的計算上限 | 機器人端對端延遲 |
| 冷機平均延遲 | 熱浸前的中心效能 | 熱穩態尾延遲 |
| P95、P99 | 慢影格造成的超期風險 | 輸出動作本身是否安全 |
| 時鐘、溫度、功耗 | 效能降額髮生時間與原因 | 感測器和控制整合正確 |
先固定模組、軟體版本、功耗模式和散熱總成
測試頭部應記錄模組 SKU、載板、Jetson Linux 與 JetPack、CUDA、TensorRT、核心、模型雜湊、精度、功耗模式、風扇策略、散熱器和機箱。Jetson Thor r39.2 功能表說明產品系列和版本會改變支援能力,不能跨版本套用命令。
在受支援的 Orin 版本中,例如用 `sudo nvpmodel -q` 查詢目前模式,再以 `/etc/nvpmodel.conf` 和同版官方檔案核對模式 ID 與頻率上限。強制最大時鐘的結果要與機器人實際功耗模式分開報告。
從真實感測器一直執行到動作釋出
開啟生產環境的攝影機數量、解析度和影格率,以及 LiDAR 解析、時間同步、預處理、檢測器或 VLA、後處理、地圖更新、紀錄、網路和控制訊息。只迴圈推論引擎會去掉 CPU、記憶體與 I/O 競爭,使資料虛高。
NVIDIA Jetson 測試與驗證計劃在負載下檢查 CPU、GPU、EMC 頻率,並透過 `tegrastats` 觀察頻率、溫度、功耗和記憶體。還要在應用各邊界打時間戳,才能定位哪個環節錯過截止時間。
| 階段 | 必須保留的生產負載 | 記錄資料 |
|---|---|---|
| 感測器接入 | 真實攝影機、LiDAR、IMU | 速率、丟影格、時間戳 |
| 預處理 | 縮放、正規化、複製 | CPU/GPU 時間與傳輸 |
| 推論 | 部署引擎和實際精度 | P50、P95、P99、吞吐 |
| 後處理與控制 | 過濾、規劃、釋出 | 端對端延遲、超期 |
| 系統服務 | 紀錄、網路、儲存 | 溫度、功耗、時鐘、記憶體 |

熱浸測試要覆蓋可信的最差環境與機箱條件
不要固定跑十分鐘就結束。測試應持續到溫度與時鐘穩定,或覆蓋完整任務工作週期,取兩者中更長者;同時包含最高環境溫度、日曬、髒濾網、受限進風、電池電壓範圍和鄰近熱源。
NVIDIA 熱告警驗證步驟用長時間併發負載升溫並觀察 trip point 與 throttle alert。產品測試還要記錄事件前後的時鐘下降、P99 上升、丟影格和恢復時間。
TensorRT 結果必須帶上預熱、併發和傳輸邊界
採用 TensorRT 11.2.1 基準指南時,要固定引擎、輸入 shape、batch、stream 數、精度、預熱和測量視窗。排除了主機到裝置傳輸後測得的引擎延遲,不能寫成應用端對端延遲。
高吞吐也可能伴隨超出控制週期的 P99。應比較前五分鐘與最終熱穩定區間,把延遲分佈疊加到溫度和時鐘曲線上,並報告持續效能下降率。

按任務 SLA 判定,而不是要求絕不發生任何降頻
熱降頻是硬體為遵守溫度上限而降低時鐘;應用 rate limiting 是軟體主動降低呼叫頻率的策略。紀錄中要區分二者,才能決定改散熱、最佳化流水線還是調整任務節拍。
驗收表應包含熱穩態 P95、P99、超期率、感測器丟影格率、最低時鐘、最高溫度、平均與峰值功耗、記憶體餘量以及重啟和恢復事件。非 Jetson 平台也必須提供等價的功耗、溫度、時鐘和記憶體遙測。
常見問題
機器人計算機的 TOPS 越高就一定越快嗎?
不一定。數值精度、記憶體頻寬、前後處理、感測器 I/O、功耗模式和熱降頻都會影響端對端延遲,應測完整流水線的持續 P95 與 P99。
熱浸測試應該執行多少分鐘?
沒有通用固定時間。應執行到溫度和時鐘達到穩定狀態,或重現完整任務週期,取耗時更長的條件。
只記錄 tegrastats 就足夠嗎?
不夠。它提供系統溫度、功耗、時鐘和記憶體遙測,但感測器到動作的延遲、丟影格和超期仍需應用時間戳測量。
已核驗的官方資料
- NVIDIA Jetson Thor Series 功能表 r39.2
- NVIDIA Jetson Platform Power and Performance r36.4.3
- NVIDIA Jetson Test Plan and Validation r36.4
- NVIDIA TensorRT 11.2.1 Benchmarking Guide
2026-08-07