로봇 정책은 가장 높은 확률의 행동을 항상 실행하기보다 입력이 낯설거나 여러 행동이 비슷할 때 기권할 수 있어야 합니다. 그러나 softmax confidence 하나로는 실패 확률을 알기 어렵고 임계값을 높이면 도움이 너무 자주 필요합니다. 불확실성 기반 기권은 점수, calibration set, 위험 비용과 사람 인계 절차를 하나의 선택 정책으로 설계하는 문제입니다.
새 로봇과 작업에 VLA를 맞출 때 전체 파라미터를 모두 업데이트하면 표현력은 크지만 메모리와 망각 위험이 커집니다. LoRA와 어댑터는 학습 비용을 줄이고 원본 모델을 보존하지만 action head·카메라·로봇 몸체 차이가 크면 제한될 수 있습니다. 선택은 GPU 크기보다 어떤 분포가 바뀌었는지와 배포 제약을 기준으로 해야 합니다.
VLA는 연속 위치·회전·그리퍼 명령을 언어 모델처럼 예측하려고 action을 이산 토큰으로 바꿀 수 있습니다. 이때 bin 수, 범위, 시간 압축 방식이 제어 해상도와 시퀀스 길이, 추론 지연을 동시에 결정합니다. 행동 토큰화는 단순한 숫자 변환이 아니라 어떤 오차와 동작 구조를 모델에 남길지 정하는 설계입니다.
분류 모델에서 안전한 색 변화나 좌우 반전이 로봇 정책에서는 같은 행동 라벨을 보존하지 않을 수 있습니다. crop은 카메라 내참수를 바꾸고 flip은 좌우 이동과 회전을 뒤집으며, 시점 이동은 보이지 않던 가림을 만듭니다. 로봇 영상 증강은 이미지가 자연스러운지가 아니라 관측 변환 뒤에도 action의 물리적 의미가 맞는지 검증해야 합니다.
로봇 영상의 프레임을 무작위로 나누면 같은 에피소드의 앞뒤 장면, 같은 방의 배경, 같은 물체와 작업자 습관이 학습과 테스트에 동시에 들어갈 수 있습니다. 성공률은 높아져도 새 장소와 새 물체에 대한 일반화는 확인되지 않습니다. 누수를 막으려면 프레임이 아니라 배포 질문에 맞는 그룹 단위로 split을 설계해야 합니다.
로봇 모델 파일만 남기고 학습 데이터 폴더를 날짜로 복사하면 같은 결과를 다시 만들기 어렵습니다. 원본 episode, calibration, 라벨 수정, schema 변환, train·test split, normalization 통계와 학습 run을 불변 식별자로 연결해야 어느 데이터가 모델을 만들었고 문제가 생겼을 때 어디까지 되돌릴지 알 수 있습니다. 데이터 계보는 저장 위치 목록이 아니라 변환 관계와 증거를 추적하는 구조입니다.
로봇 실패를 모두 다시 수집하면 비용이 크고 같은 오류만 반복됩니다. 실패 마이닝은 rollout에서 실제 실패, 실패 직전 징후, 불확실하지만 성공한 장면과 새로운 상태를 후보로 모으고, 불확실성·새로움·영향·검토 비용을 함께 보고 다음 수집 순서를 정합니다. 액티브 러닝의 목표는 어려운 frame을 많이 모으는 것이 아니라 모델의 빈틈을 가장 잘 줄이는 episode를 고르는 것입니다.
여러 로봇 데이터셋을 한 폴더에 합쳐도 학습기가 보는 비율은 자동으로 공정해지지 않습니다. 에피소드 수가 많은 로봇, 긴 작업, 반복 촬영된 쉬운 성공이 gradient를 차지하면 전체 손실은 내려가면서 드문 작업과 새 로봇 성능은 오히려 떨어질 수 있습니다. 혼합 비율은 파일 개수가 아니라 학습 중 샘플링 확률과 최악 도메인 성능을 설계하는 문제입니다.
Human-in-the-Loop 데이터는 처음부터 사람이 조종한 시범과 다릅니다. 로봇이 자율 실행하다 실패 직전 사람이 takeover한 순간에는 정책이 어떤 상태까지 스스로 갔고, 왜 개입했으며, 어떤 교정으로 다시 자율 상태에 돌아왔는지가 들어 있습니다. 이 경계를 보존해야 사람 개입이 단순 성공 시범이 아니라 실패 예측과 복구 학습 자료가 됩니다.
로봇 데이터의 action 열 이름이 같아도 실제 명령의 좌표계, 단위, 제어 주기와 그리퍼 의미가 다르면 한 모델이 같은 값으로 전혀 다른 움직임을 배웁니다. 행동 공간 정규화는 차원을 맞추는 작업이 아니라 원래 명령을 공통 표현으로 바꾸고 다시 각 로봇 명령으로 정확히 되돌리는 계약입니다.