LeRobot Real-Time Chunking은 새 카메라 프레임이 올 때마다 이전 행동 묶음을 모두 버리고 처음부터 계산하는 기능이 아니다. LeRobot v0.6 RTC 문서와 원 논문은 이미 실행될 것이 보장된 행동의 앞부분을 고정하고, 이전 궤적과 겹치는 수정 가능한 나머지를 안내된 인페인팅으로 이어 다음 행동 묶음을 만드는 구조를 설명한다. 현재 묶음을 실행하는 동안 다음 묶음을 비동기로 계산해 추론 대기와 경계 불연속을 줄이는 것이 목표다.
새 관측이 왔다고 실행 중인 명령을 모두 취소하는 것은 아니다
행동 묶음 정책은 여러 시점의 행동을 한 번에 예측해 한 스텝씩 추론할 때의 부담과 흔들림을 줄인다. 대신 묶음이 길면 새 관측이 들어와도 오래된 계획을 계속 실행할 수 있고, 묶음 경계에서 다음 예측을 기다리거나 명령이 튈 수 있다. RTC는 이 두 문제를 다루는 추론 시점 기법이다. 독립 정책도 아니고 새로운 학습법도 아니다.
LeRobot v0.5.0 릴리스는 RTC를 호환되는 플로 매칭 행동 묶음 정책을 위한 추론 기법으로 통합했다고 설명한다. 모든 LeRobot 정책에 자동으로 적용되는 기능은 아니다. 호환 정책, 구현 버전과 실행 경로를 먼저 고정해야 한다.
‘버린다’는 표현은 행동 구간의 상태를 나누지 못한다. 이미 로봇으로 전달돼 실행될 앞부분, 다음 추론이 진행되는 동안 보장해서 실행할 구간, 아직 새 관측에 맞춰 수정할 수 있는 겹침 구간이 다르다. RTC를 이해하려면 전체 폐기 여부보다 각 구간이 언제 확정되는지를 봐야 한다.
RTC의 범위는 행동 생성의 연속성까지이고 안전 제어까지가 아니다
RTC는 현재 행동 묶음을 실행하는 동안 다음 묶음을 생성하고 두 궤적을 이어 주는 애플리케이션 추론 계층이다. 추론이 끝날 때까지 로봇을 멈추는 시간을 줄이고 묶음 경계의 불연속을 완화하려 한다. 부드러운 전환이라는 목표가 동역학적 안정성, 충돌 없는 움직임, 작업 성공이나 기능안전을 보장하지 않는다.
관절 한계, 충돌 회피, 비상정지, 안전 관련 속도·힘 제한과 저수준 제어 안정성은 별도의 제어기와 완성 애플리케이션 검증에 남는다. RTC가 내는 행동이 이러한 계층을 우회해도 된다는 근거는 없다. 현장 도입에서는 정책 출력과 실제 제어기가 수락한 명령을 분리해 기록한다.
LeRobot v0.6 배포 문서는 RTC 백엔드가 백그라운드에서 행동 묶음을 만들고 주 제어 루프가 준비된 행동을 폴링하는 구조를 설명한다. 이는 소프트웨어 실행 경로이며 서보 수준의 실시간 보장이나 최악 네트워크 지연, 안전정지 구조를 인증하는 자료가 아니다.
입력에는 최신 관측뿐 아니라 이미 약속한 행동과 추론 시간이 들어간다
RTC의 다음 묶음은 새 관측만 보고 만들어지지 않는다. 현재 실행 중인 궤적에서 반드시 이어야 할 앞부분, 이전 묶음과 겹치는 행동, 추론이 끝날 것으로 예상되는 시점과 안내 강도가 함께 경계를 만든다. LeRobot 문서에는 execution_horizon, 실행 중 측정되는 inference_delay, max_guidance_weight와 겹침 스케줄 같은 조절 변수가 나온다.
execution_horizon은 다음 추론이 준비될 때까지 확실히 실행할 구간과 반응성 사이의 균형에 관여한다. 길게 잡으면 계산 여유와 연속성이 늘 수 있지만 최신 관측에 대한 반응이 늦어질 수 있다. 너무 짧으면 추론 마감 압력과 경계 전환이 커질 수 있다. 문서의 예시 범위를 모든 로봇의 최적값이나 안전 한계로 복사하지 않는다.
출력도 완전히 새로운 독립 묶음이라기보다 고정된 앞부분과 인페인팅된 겹침, 새로 생성된 뒤쪽이 연결된 궤적이다. 관측 시각, 추론 시작·종료, 묶음 버전, 실제 실행된 행동 인덱스를 남겨야 어느 관측이 어느 명령에 반영됐는지 추적할 수 있다.
고정하고 이어 그리는 과정이 추론 대기와 경계 튐을 함께 다룬다
RTC 원 논문의 핵심은 freeze-and-inpaint다. 다음 행동 묶음을 계산하는 동안 실제로 실행될 것이 보장된 앞부분을 고정한다. 그 뒤 새 묶음의 겹치는 나머지는 이전 궤적과 이어지도록 안내해 인페인팅하고, 최신 관측에서 필요한 새로운 뒤쪽 행동을 만든다. 이미 확정된 모든 행동을 새 관측 때문에 소급 취소하지 않는다.
비동기 추론이 반응 지연을 없애는 것은 아니다. 새 관측이 들어온 시점과 백그라운드 추론이 완료되는 시점 사이에는 시간이 흐른다. 그동안 어떤 행동을 계속 실행할지 결정하기 위해 고정 구간이 필요하다. 추론 시간이 예상보다 길어지면 더 오래된 관측과 궤적에 의존하거나 다음 묶음이 제때 준비되지 않을 수 있다.
안내 강도와 겹침은 연속성과 반응성의 균형을 바꾼다. 이전 궤적을 지나치게 강하게 따르게 하면 환경 변화에 늦게 반응할 수 있고, 연결을 약하게 하면 경계에서 명령이 튈 수 있다. 한 숫자를 최적값으로 고르는 대신 작업·정책·하드웨어별 지연 분포와 경계 움직임을 함께 측정한다.
실제 장면에서는 관측 시각과 행동 커밋 시각을 나란히 본다
예를 들어 양팔이 물체를 옮기는 동안 한쪽 물체 자세가 바뀌었다고 하자. 새 관측이 들어와도 이미 전달돼 곧 실행될 앞부분은 그대로 남을 수 있다. 다음 묶음은 이 앞부분을 이어 받되 아직 수정 가능한 겹침과 뒤쪽을 바뀐 자세에 맞춰 다시 만든다. 여기서 중요한 로그는 새 프레임 번호가 아니라 관측의 촬영 시각, 추론 완료 시각, 커밋된 앞부분의 길이와 실제 실행 순서다.
RTC 논문은 12개 Kinetix 시뮬레이션 작업과 6개 실물 양팔 조작 작업에서 방법을 평가했다고 보고한다. 이는 저자 평가 범위이며 모든 로봇 형상, 방해와 고위험 공정을 포괄하지 않는다. 대상 로봇에서는 같은 정책의 기본 행동 묶음, 단순 비동기 추론과 RTC를 동일한 관측·제어 조건에서 비교해야 한다.
Action Chunking의 기본 원리와 비교하면 RTC의 추가 질문이 보인다. 행동 묶음이 왜 필요한지에 더해 다음 묶음을 언제 만들고, 어느 행동을 확정하며, 겹침을 어떻게 잇고, 늦은 결과를 어떻게 처리하는지를 확인해야 한다.
부드럽게 보이는 동작도 관측이 늙거나 마감을 놓치면 실패할 수 있다
경계의 관절 명령이 매끄러워도 정책이 오래된 관측을 바탕으로 움직였다면 반응성은 낮다. 반대로 최신 관측마다 뒤쪽 궤적을 크게 바꾸면 물체 변화에는 빠르게 반응해도 경계 진동이나 작업 불안정이 생길 수 있다. 합격 시험은 영상의 부드러움과 작업 성공을 같은 지표로 보지 않는다.
| 실패 조건 | 로그에서 볼 신호 | 해석할 때의 주의 |
|---|---|---|
| 추론이 예상보다 늦게 완료됨 | 평균·p95·p99 지연, 마감 누락, 준비된 행동 부족 | 비동기라는 이유로 지연이 사라졌다고 보지 않음 |
| 새 관측이 오래된 상태로 처리됨 | 관측 age, 큐 대기, 반영된 묶음과 프레임의 연결 | 동작이 매끄러워도 반응성 실패일 수 있음 |
| 겹침 안내가 너무 강함 | 환경 변화 뒤 수정량, 복구 시작 시각, 작업 실패 | 연속성과 이전 계획 고착을 구분 |
| 겹침 안내가 너무 약함 | 경계 속도·가속도 변화, 진동, 반복 재계산 | 시각적 튐과 저수준 안정성을 별도 검증 |
| 통신·백엔드가 중단됨 | 마지막 유효 묶음, 폴백 상태, 중복 명령과 재접속 순서 | RTC 밖의 제어·안전 계층 책임을 확인 |
문제가 보이면 execution_horizon이나 안내 강도를 임의로 현장 로봇에서 바꾸기 전에 원인을 분리한다. 관측 파이프라인, 모델 추론, 스케줄링, 제어기 전달 가운데 어느 구간이 늦었는지 재현 가능한 시험 환경에서 확인한다. 구체 안전 한계와 변경 절차는 제조사·통합자의 승인 범위에서 정한다.
RTC 검수는 평균 지연이 아니라 어느 관측이 어느 행동을 바꿨는지 재현한다
RTC를 평가할 때는 처리량 하나보다 시간축의 인과관계를 남긴다. 행동이 잘 이어졌다는 인상만으로는 새 관측이 실제로 반영됐는지, 늦은 추론을 오래된 행동으로 가렸는지 알 수 없다.
- 카메라 촬영, 전처리, 추론 시작·완료, 행동 커밋과 실제 실행 시각을 같은 시계로 기록한다.
- 평균 지연과 함께 p95·p99, 지터, 마감 누락과 관측 age 분포를 남긴다.
- 커밋된 prefix, 수정 가능한 overlap과 새로 생성된 suffix를 묶음별로 구분한다.
- 기본 행동 묶음, 단순 비동기 추론과 RTC를 같은 정책·작업·하드웨어에서 비교한다.
- 경계의 속도·가속도 변화와 별도로 작업 성공, 방해 뒤 복구와 사람 개입을 측정한다.
- 백엔드 지연·중단과 센서 변화에서 폴백·안전정지가 별도 제어 계층에서 작동하는지 확인한다.
- 문서의 예시 파라미터를 복사하지 않고 대상 로봇의 승인된 시험 범위에서 결과를 재검증한다.
에피소드마다 관측과 행동 묶음을 함께 보존하려면 LeRobot Dataset v3 구조와 연결해 시각·프레임·행동 인덱스를 추적할 수 있다. 다만 데이터 형식이 시간 동기나 제어 안정성을 자동으로 보증하지는 않는다. 최종 판단은 새 관측이 바뀐 상황을 제때 반영하면서도 명령 경계를 불필요하게 흔들지 않았다는 반복 시험으로 내려야 한다.
독자가 이어서 묻는 질문
RTC를 켜면 로봇의 충돌과 제어 진동도 해결되나요?
아니다. RTC는 호환되는 행동 묶음 정책의 다음 궤적을 비동기로 만들고 경계를 이어 주는 추론 기법이다. 관절 한계, 충돌 회피, 비상정지, 기능안전과 저수준 안정성은 별도 제어기와 애플리케이션 검증의 책임이다. 부드러운 경계만으로 안전이나 작업 성공을 판정할 수 없다.
자료 마지막 확인: 2026년 8월 26일