카메라 영상이 최신이고 추론도 빠른데 로봇이 움직이는 물체의 뒤쪽으로 손을 뻗는다면, 입력에 이동 방향과 속도가 담겼는지 확인해야 합니다. 같은 장면처럼 보이는 곳에서 잡으려다 물러서기를 반복한다면, 이번에는 직전에 로봇이 무엇을 명령했는지 살펴봐야 합니다. 둘 다 시간 정보가 부족한 상황이지만, 필요한 기록과 검증 방법은 다릅니다.
사람이 병을 들고 로봇 앞을 지나가는 장면을 생각해 보죠. 병이 화면 한가운데에 있는 순간만 잘라 보면, 사람이 왼쪽으로 가는지 오른쪽으로 가는지 알 수 없습니다. 그 사진은 병의 위치를 알려주지만, 로봇이 손을 뻗을 때 병이 어디에 있을지는 알려주지 않습니다. 추론 지연을 줄이면 더 최근 위치를 쓸 수 있습니다. 그래도 한 장의 사진에서 이동 방향이 저절로 생기지는 않습니다. TEMPO 논문은 이런 동적 조작 상황을 연구했습니다. 여기서 실무자가 가져갈 질문은 특정 모델을 채택할지보다, 실패할 때 어떤 정보가 빠져 있었는지입니다.
늦은 명령과 빠진 이동 정보는 다른 흔적을 남깁니다
먼저 카메라 촬영 시각, 추론 시작·종료 시각, 명령 전달 시각, 표적의 위치 변화를 같은 시간축에 남깁니다. 실패 영상만으로는 놓친 장면을 볼 수 있어도, 오래된 화면을 보고 움직였는지 방향 자체를 모르고 움직였는지는 구별하기 어렵습니다. 아래 표는 TEMPO의 실험 결과가 아니라, 현장 로그를 읽기 위한 진단 가설입니다.
| 보이는 현상 | 먼저 비교할 것 | 다음 시험 |
|---|---|---|
| 표적이 이미 지나간 자리로 손을 뻗고, 입력에서 명령까지 걸린 시간이 길수록 오차가 커진다 | 비슷한 이동 경로에서 지연 시간과 빗나간 거리·방향을 함께 그린다 | 지연을 줄이거나 보정한 뒤 같은 경로를 반복한다 |
| 지연이 짧아도 표적이 가는 쪽을 반대로 고른다 | 현재 위치는 비슷하지만 직전 이동 방향은 반대인 순간을 짝지어 비교한다 | 제어 주기는 고정하고 이전 영상 또는 이동 특징을 추가해 본다 |
| 잡기 직전이나 물러나는 단계에서 망설이거나 명령이 번갈아 바뀐다 | 잡기 전후의 비슷한 영상에 서로 다른 정답 행동이 있는지 본다 | 작업 단계 기록이나 최근 명령 이력을 넣고 두 순간을 구분하는지 본다 |
한 번의 실패에 원인이 하나만 있는 것은 아닙니다. 입력이 늦게 도착하면서 이동 이력도 빠졌을 수 있습니다. 표는 어떤 비교 실험을 먼저 할지 정하는 데 쓰면 됩니다. 평가 조건을 더 넓게 맞추는 방법은 로봇 VLA 평가 가이드에서 이어서 볼 수 있습니다.
병 인계 시험에서는 시간 조건을 고정합니다
병 인계처럼 움직임이 핵심인 작업이라면, 병이 화면 중앙의 같은 지점을 왼쪽과 오른쪽에서 통과하도록 작은 시험 묶음을 만듭니다. 속도도 두세 구간으로 나눌 수 있습니다. 로봇의 시작 자세, 카메라 위치, 명령 문장, 동작 제한은 유지합니다. 정책이 실제로 읽은 프레임과 제어기가 받은 명령을 각각 기록해야 비교가 됩니다.
그다음 따라가기와 잡기로 전환하기를 나눠 봅니다. 접촉 전 손끝 경로가 병의 이동 방향을 따라가는지, 아니면 마지막으로 관측한 위치만 쫓는지 확인합니다. 잡는 순간에는 한 번에 동작을 이어가는지, 뻗기와 후퇴를 반복하는지 표시합니다. 이전 영상을 추가한 정책이 나아졌더라도, 학습 데이터나 평가 시작 상태, 제어 주기가 함께 달라졌다면 시간 정보의 효과로만 돌릴 수 없습니다.
이는 이 글이 제안하는 실험 설계이며 실제 로봇 측정값은 아닙니다. 필요한 이력 길이와 허용 지연은 해당 카메라·정책·제어기에서 직접 정해야 합니다. 장면이 거의 정지해 있고 실패가 추론 시간 급증과만 맞물린다면, 입력의 시간 표현을 바꾸기 전에 실행 지연부터 다루는 편이 합리적입니다.
TEMPO의 병 인계 결과는 무엇을 비교했나
TEMPO는 사전 학습된 VLA에 최근 장면의 이동 특징과 로봇의 최근 명령을 압축한 입력을 더합니다. 논문 표 4의 같은 병 인계 비교에서 VLASH는 실제 로봇 50회 중 38%, TEMPO는 74% 성공했습니다. 표에 함께 적힌 44%는 별도 RTC 기준선입니다. VLASH에서 TEMPO로 바뀐 효과를 설명할 때 출발점으로 섞으면 안 됩니다.
이 결과가 말해 주는 범위는 분명합니다. 비동기 추론을 쓰는 기준선에도, 연구진의 장비와 병 인계 작업에서는 시간 입력이 도움이 됐습니다. 모든 VLA에 같은 영상 인코더가 필요하다거나, 다른 로봇에서도 같은 성공률이 나온다는 뜻은 아닙니다.
최근 명령은 작업 단서이지 실제 자세의 증명은 아닙니다
비슷한 화면이 정반대 행동을 요구하는 때가 있습니다. 병 근처의 그리퍼가 이제 잡으려고 다가가는 중일 수도, 놓고 돌아오는 중일 수도 있습니다. 현재 영상만으로 두 장면을 가르기 어렵다면 최근 명령의 흐름이 작업 단계를 알려줄 수 있습니다.
조심할 부분은 명령과 실제 움직임의 차이입니다. 관절이 멈추거나 물체가 미끄러지거나 제어기가 명령을 제한하면, 명령 이력은 로봇이 의도한 단계만 말해 줍니다. 로봇이 그 단계에 실제로 도달했다는 증거는 아닙니다. 자체 시험에서는 명령, 측정된 관절·그리퍼 상태, 작업 사건을 별도 기록으로 보관하는 편이 좋습니다. 측정 상태를 새로운 모델 입력으로 쓰는 것은 추가 실험이지, TEMPO가 이미 입증한 사실이 아닙니다.
원인을 좁힌 뒤 남길 기록
조건을 맞춘 시험이 끝나면 입력에서 명령까지 걸린 시간, 병을 잡으려는 지점의 방향 오차, 잡기·놓기 주변에서 명령이 뒤집힌 횟수를 각각 정리합니다. 성공과 실패 영상도 그 시각 기록과 함께 남깁니다. 지연에 따라 오차가 움직이면 실행 경로를, 지연을 맞춰도 반대 방향을 구별하지 못하면 영상 이력을, 같은 작업 단계에서 반전이 몰리면 단계 단서를 먼저 시험할 수 있습니다.
이 기록을 바탕으로 다음에 바꿀 입력이나 시간 조건을 정할 수 있습니다. 이 글을 위해 로봇 실험을 진행하지 않았습니다. 원문 확인: 2026년 9월 29일.