작업자가 물체를 집는 데 성공했는데 그 시범으로 학습한 정책이 계속 빗나간다면 먼저 모델보다 텔레옵 변환을 의심해야 한다. 관측·명령의 경로별 지연, 위치·회전 척도와 클러치 재중심 사건이 맞아야 성공 화면이 학습 가능한 관측–행동 정답이 된다.
화면은 늦게 보이고 명령은 더 늦게 적용될 수 있으며, 사람 손 10cm가 로봇 말단 5cm 또는 20cm로 변환될 수 있다. 클러치로 손을 재중심하는 순간과 좌표 프레임 전환이 라벨 없이 섞이면 관측과 행동의 인과가 뒤틀린다.
출발 문제는 성공 화면과 학습 정답의 차이다
텔레옵 성공은 작업자가 지연과 오차를 보고 반복 보정해 최종 상태를 만들었다는 뜻일 수 있다. 학습 정책은 작업자의 머릿속 보정과 다음 움직임을 보지 못하고 저장된 관측–행동 쌍만 본다. 따라서 overshoot, 멈춤, 되돌림과 클러치 구간이 많으면 최종 성공이어도 효율적인 행동 분포가 아닐 수 있다.
지연은 카메라 노출·인코딩·전송·표시의 관측 경로와 입력 추적·네트워크·제어기의 명령 경로로 나눈다. 두 경로를 합친 왕복 지연이 작업자가 체감하는 값이며, 학습 정렬에는 각 방향의 개별 시각이 필요하다. 평균 지연만 맞추면 순간 혼잡·프레임 드롭 때 접촉 전후가 뒤바뀐다.
관측이 100ms 늦고 명령 적용이 20ms 늦은 시스템과 두 경로가 각각 60ms인 시스템은 왕복합은 같아도 학습 정렬과 조작감이 다르다. 전자는 작업자가 과거 장면을 보며 움직이고, 후자는 입력 피드백 자체가 늦다. 경로별 지연과 흔들림을 따로 계측해 에피소드에 붙인다.
로컬 텔레옵과 원격 텔레옵도 같은 지연 예산을 쓰지 않는다. 원격 경로에서는 영상 인코딩·WAN jitter·패킷 재전송과 표시 refresh가 추가되고, 로봇 쪽 안전제어가 네트워크와 독립적으로 닫혀야 한다. 연결이 느려졌을 때 작업자가 보는 화면과 로봇의 현재 상태 차이를 명시한다.
척도와 프레임은 병진·회전·그리퍼를 따로 정의한다. 장치 기준 1m가 로봇의 몇 m인지, 회전은 어느 중심·순서로 적용하는지, 증분이 카메라·말단·베이스 가운데 어느 프레임인지 명시한다. 클러치는 움직임을 멈추는 기능인지 입력 원점을 재설정하는 기능인지 사건 코드로 저장한다.
초기 해법은 정적 영점과 한 번의 지연 측정이었다
전통적인 설정은 시작 자세에서 장치와 로봇의 영점을 맞추고 고정 gain을 적용한다. 자유공간의 느린 이동에서는 충분할 수 있지만 작업자가 범위를 벗어나 재중심하거나 로봇이 관절한계에 닿으면 mapping이 달라진다. 장치 추적이 재획득될 때 불연속 점프도 생긴다.
영상과 행동을 일정 프레임 수만큼 이동해 맞추는 방법도 고정 지연에서는 작동한다. 하지만 카메라와 제어 경로의 지연이 시간에 따라 달라지면 하나의 offset으로 모든 에피소드를 정렬할 수 없다. 접촉·급격한 방향전환과 그리퍼 닫힘 같은 사건에서 잔차를 반복 측정해야 한다.
정적 gain도 작업공간 전체에서 같지 않을 수 있다. 로봇의 특이점·관절한계 근처에서는 같은 말단 증분이 큰 관절속도를 요구하고, 충돌회피기가 방향을 바꿀 수 있다. 장치의 원시 이동과 실제 말단 이동을 작업공간 격자에서 비교해 위치별 gain·클리핑 지도를 만든다.
회전 보정은 위치보다 쉽게 숨는다. Euler 각 순서, quaternion 부호와 좌·우수 좌표계가 다르면 작은 자세에서는 맞아 보이고 큰 회전에서 뒤집힐 수 있다. 알려진 90도 회전과 폐루프 자세를 여러 축에서 재생하고, 회전오차가 그리퍼 접근축과 접촉면에 미치는 영향을 센다.
DROID 공식 페이지가 공개한 표준화된 수집 키트와 텔레옵 구성은 여러 장면의 데이터 수집을 재현하는 참고 사례다. 그 규모가 개별 에피소드의 지연·스케일 보정이 자동으로 맞다는 뜻은 아니다. 릴리스의 실제 timestamp·행동 스키마와 목표 파이프라인을 별도로 읽는다.
전환점은 상대 궤적과 지연을 데이터 계약으로 다룬 것이다
UMI 공식 프로젝트는 사람 손의 현장 시범을 로봇으로 옮길 때 상대 궤적 표현과 latency matching을 핵심 설계로 공개한다. 이 접근은 절대 세계좌표의 차이를 줄이고 관측–행동 지연을 맞추려는 근거를 제공한다. 다만 저자 페이지의 성능·편의 주장은 공개 과제·장비에 한정한다.
상대 표현도 만능은 아니다. 카메라가 움직이면 어느 기준의 상대변화인지 정확해야 하고, 장기 적분은 drift를 누적한다. 접촉 작업은 물체와 도구의 실제 위치·힘이 필요하며, 증분 gain이 크면 작은 추적노이즈가 로봇 떨림으로 확대된다. 주기적으로 절대 기준과 안전한 재고정을 사용한다.
클러치 사건은 학습에서 단순 삭제할 수도, 그대로 행동으로 둘 수도 없다. 누른 동안 로봇 명령이 0인지 마지막 값을 유지하는지 확인하고, 해제 직후 기준 프레임이 어떻게 바뀌는지 저장한다. 삭제한다면 앞뒤 관측·행동이 불연속이 되지 않는지 검사하고 원본 구간은 보존한다.
지연 정합은 미래 행동을 과거 영상에 억지로 붙이는 작업이 아니다. 물리 사건에서 측정한 관측·명령 경로를 사용하고, 보정 뒤에도 원인별 잔차를 남긴다. 에피소드의 일부 구간만 지연이 튀면 전 구간을 하나의 offset으로 이동하지 말고 해당 구간을 보류하거나 별도 품질 등급으로 분리한다.
LeRobot 공식 teleoperators 문서는 여러 입력장치를 공통 인터페이스로 다루지만, 장치별 캘리브레이션·프레임·주기까지 동일하다는 의미는 아니다. 어댑터가 내는 원시 값과 로봇에 적용된 행동을 동시에 읽어 비교한다.
현재 스택은 사건 기반 교정과 결함주입으로 닫는다
보정 시험에는 LED·플래시와 로봇 움직임이 동시에 보이는 광학 사건, 물체 접촉의 영상–힘 사건, 알려진 거리·각도의 지그를 쓴다. 느린·빠른 이동, 카메라·네트워크 부하, 연결 재획득과 클러치 반복을 포함해 offset·gain·잔차 분포를 구한다.
- 원시 장치 자세, 화면 프레임, 생성 명령, 컨트롤러 적용값과 실제 상태의 시각을 각각 저장한다.
- 병진·회전·그리퍼 gain과 장치–카메라–로봇 프레임 변환을 버전별로 고정한다.
- 클러치 누름·해제·재중심·추적 재획득을 데이터 사건으로 표시하고 학습 정책을 정한다.
- 광학·접촉·방향전환 사건에서 관측·명령 지연의 평균·p95·최대와 시간변동을 잰다.
- 자유공간·정밀접촉·관절한계·가림에서 동일 궤적을 실물 재생시험하고 클리핑·충돌을 센다.
- 보정 전후 모델을 같은 작업·초기상태에서 평가해 데이터 수정의 실제 이득을 확인한다.
합격값은 장치 사양이 아니라 작업 허용오차에서 역산한다. 삽입 여유가 작은 작업은 위치·회전·지연 요구가 더 엄격하고, 큰 물체 이동은 다소 완화할 수 있다. gain을 낮춰 안정성을 얻으면 작업시간·작업자 피로가 늘 수 있으므로 품질과 생산성을 함께 본다.
남은 문제는 변동 지연과 사람의 적응을 분리하는 일이다
작업자는 지연에 적응해 미리 움직이거나 화면을 기다린다. 이 행동은 작업자·세션별로 달라 고정 offset만으로 제거되지 않는다. 숙련도, 휴식, 장치와 작업 순서를 교차해 사람 적응과 시스템 지연을 분리하고, 작업자 ID를 개인정보 정책 안에서 가명화해 보관한다.
작업자의 예측 보정이 포함된 시범을 무조건 버릴 필요는 없다. 다만 정책이 재현할 수 없는 인간의 화면 해석과 의도를 숨기지 않도록 주저·되돌림·클러치와 오류복구를 라벨링한다. 성공 구간만 잘라 쓰는 모델과 전체 복구를 배우는 모델의 목표를 분리한다.
연결 혼잡, 카메라 자동노출, 제어기 부하와 안전필터는 지연을 변화시킨다. 시범마다 품질 점수와 지연 분포를 붙이고 임계값을 넘은 구간은 보류한다. 동적으로 워핑한 행동은 원본을 덮지 않고 변환 버전·근거·잔차를 보존한다.
보정 모델을 업데이트할 때 과거 에피소드를 조용히 다시 쓰지 않는다. 새 변환으로 만든 파생본을 별도 버전으로 생성하고 대표 사건의 영상·힘·실행 궤적을 사람이 검수한다. 학습 성능이 좋아져도 물리 사건과 어긋난 보정은 승인하지 않는다.
작업자별 프로필도 일반화 문제를 만든다. 한 사람의 팔 길이와 조작 습관에 맞춘 gain을 공통값으로 배포하면 다른 작업자의 클러치·오버슈트가 늘 수 있다. 개인별 프로필을 쓴다면 선택·적용 시각을 남기고 공통 정책 학습에서는 개인 식별 정보와 행동 편향을 분리한다.
마지막으로 ‘좋은 시범’은 부드러운 궤적만 뜻하지 않는다. 목표 달성, 허용 접촉, 빠른 복구와 학습 후 새로운 초기상태의 성능을 함께 봐야 한다. 텔레옵 데이터 구조의 장치·행동·실행 계보와 로봇 시간동기의 시계 검증을 같은 인수시험에 묶는다.
텔레옵 지연 보정만으로 해결되지 않는 것은 무엇인가
지연을 소프트웨어로 한 번 보정하면 무엇을 해결하지 못하나요?
시간에 따라 변하는 네트워크·디코딩·제어 지연, 장치 추적 손실, 잘못된 좌표·척도, 관절 클리핑과 작업자의 적응은 고정 offset 하나로 해결되지 않는다. 원시·명령·실행 시각과 물리 사건을 보존하고 세션별 잔차를 재검증해야 한다.
자료 마지막 확인: 2026년 8월 26일