자동 라벨러가 긴 에피소드 전체를 빈틈없이 나눴다는 사실만으로 도입을 승인해서는 안 된다. 작업자가 물체를 놓쳤다가 다시 집은 구간을 ‘정상 운반’으로 묶으면 문장은 매끄러워도 정책은 실패와 복구를 구분하지 못한다. 파일럿 통과 조건은 자동 처리량이 아니라, 위험한 누락과 시간경계 오차를 사람이 정한 상한 아래로 낮추고 수정 이력을 원본 프레임까지 되짚을 수 있는가다.
현재 공정부터 한 에피소드 단위로 그려 본다
먼저 기존 주석 흐름을 측정한다. 누가 어떤 카메라와 센서로 에피소드를 보고, 전체 목표·서브태스크·원자 행동·성공·실패·개입·복구를 어디에 기록하는지 그린다. 작업 이름만 있는 데이터와 프레임 단위 사건이 있는 데이터를 같은 상태로 세지 않는다.
계층은 서로 다른 질문에 답한다. 에피소드 목표는 최종 의도를, 서브태스크는 의미 있는 중간상태를, 원자 행동은 집기·놓기 같은 제어 가능한 단위를 표현한다. 성공·실패·개입은 결과 사건이며 구간 이름의 수식어로 숨기지 않는다. 각 라벨에는 시작 포함·끝 제외 같은 경계 규칙, 근거 카메라와 확인 센서를 붙인다.
AgiBotWorld2026 공식 데이터 카드는 장기 에피소드 안의 Task Frame 서브태스크 구간과 더 세밀한 instruction segment를 별도 계층으로 설명하고 성공 프레임 같은 필드를 제시한다. 이는 해당 릴리스의 스키마다. 다른 AgiBot 릴리스나 LeRobot 일반 형식 전체가 똑같은 주석을 가진다고 가정하지 않는다.
현재 공정의 결과물에는 계층별 필수·선택 필드와 허용값 사전을 붙인다. ‘놓기’와 ‘배치’, ‘복구’와 ‘재시도’가 검수자마다 달라지면 모델 문제처럼 보이는 변동이 주석 규칙에서 생긴다. 예시와 반례, 경계가 애매할 때의 보류값을 포함하고 스키마 버전이 바뀐 날짜부터 새 표본을 분리한다.
자동화 후보는 설명·분할·검증으로 나눠 시험한다
VLM에 영상을 한 번 넣고 완성 라벨을 받는 대신 관찰과 해석을 나눈다. 첫 통과에서는 보이는 상태변화와 접촉을 시간과 함께 기술하게 하고, 둘째에서 그 기록을 연속 구간으로 자른다. 셋째 규칙 검증기가 겹침·빈틈·없는 프레임·잘못된 역할을 거부한다. 모델의 문장 품질과 스키마 유효성을 다른 지표로 본다.
2026년 8월 26일 확인 기준 LeRobot 공식 Annotation Pipeline 문서는 VLM이 선택 카메라의 타임스탬프 접촉시트를 보고 describe→segment 방식으로 서브태스크를 만들며, 결과를 language_persistent와 language_events에 기록하는 현재 구현을 설명한다. 문서의 기본 샘플링이나 모델 설정은 소프트웨어 기본값이지 빠른 접촉을 놓치지 않는 보증값이 아니다.
자동화 범위는 장면별로 제한한다. 고정 카메라에서 명확한 물체 상태변화는 자동 후보가 될 수 있지만, 가림이 길거나 힘·음향·작업자 의도가 필요한 사건은 영상만으로 확정하지 않는다. 모델이 보지 못한 센서 상태를 추측하지 못하게 하고, 신뢰도가 낮으면 ‘불명’과 사람 검수 큐를 출력하게 한다.
예외 흐름은 실패와 복구를 정상 작업에서 떼어 낸다
가장 위험한 오류는 실패를 성공 구간에 섞는 것이다. 집기 시도, 미끄러짐, 재시도와 최종 성공을 하나의 ‘집기’로 묶으면 정책이 어느 행동을 모방해야 하는지 모호해진다. 실패 원인, 복구 가능 여부, 사람 개입, 폐기 프레임을 서로 다른 사건으로 두고 원래 목표와 연결한다.
경계 충돌 규칙도 미리 정한다. 손이 물체에 닿은 시점, 그리퍼가 닫힌 시점, 물체가 지면에서 떨어진 시점 중 어떤 것을 집기 시작·성공으로 쓸지 센서와 과제에 맞게 택한다. 영상 라벨과 그리퍼·힘·상태 로그가 다르면 자동으로 한쪽을 이기게 하지 말고 불일치 사건을 만든다.
긴 영상이 창으로 나뉘면 앞 창의 상태가 다음 창에 이어지는지 확인한다. LeRobot 공식 Annotation Pipeline 문서는 긴 에피소드를 같은 샘플 밀도의 창으로 처리하고 결과를 합치며, 검증기가 전체 프레임을 빈틈없이 덮도록 구성한다고 설명한다. 이 구조적 완결성은 의미 정확성과 다르다. 잘못된 한 라벨로 전 구간을 덮어도 형식 검사는 통과할 수 있다.
사람은 전량 재작성자가 아니라 불일치의 판정자다
파일럿 표본은 무작위만으로 만들지 않는다. 작업·길이·카메라·가림·실패·개입·교대별 층화 표본과, 모델 신뢰도가 낮거나 센서가 충돌한 위험 표본을 함께 뽑는다. 두 검수자가 서로의 답을 보지 않고 경계와 라벨을 작성한 뒤 합의 전 일치도를 계산한다.
문장 일치율만 쓰면 동의어에 과도하게 민감하다. 계층 라벨의 정확도·재현율, 사건별 누락률, 시작·끝 경계의 시간 오차, 성공·실패 혼동과 작업당 수정시간을 분리한다. 안전이나 제품손상과 연결된 실패 누락에는 평균보다 엄격한 상한을 둔다. 합의가 어려운 표본은 가이드 결함으로 보고 규칙을 고친다.
검수자는 모델이 쓴 이유를 교정하는 사람이 아니라 원시 증거로 판정한다. 화면만으로 확정할 수 없는 힘·접촉·성공 상태는 센서 확인값이나 작업 기록을 본다. 자동 라벨과 사람 수정, 최종 합의, 제외 사유를 같은 버전 기록에 남겨 다음 모델이 이전 오류를 반복하는지 회귀시험한다.
검수 편향도 감시한다. 같은 작업자·카메라·언어만 계속 한 검수자에게 배정하면 개인 습관이 정답처럼 굳을 수 있다. 일부 표본을 교차 배정하고 합의 뒤에도 원래 판정을 보존해 오류 유형을 비교한다. 새 가이드를 적용할 때는 쉬운 정상 장면뿐 아니라 이전에 의견이 갈린 경계 표본으로 교육 효과를 확인한다.
데이터와 보안 경계는 원본·주석·파생본마다 다르다
주석 파이프라인은 영상과 로봇 로그뿐 아니라 언어 모델에 보낸 프레임, 생성 문장과 사람 교정도 새 데이터로 만든다. 얼굴·화면·음성·제품형상과 공정조건이 외부 추론 서비스나 임시 저장소로 나가지 않는지 배치 전에 확인한다. 허용된 카메라만 선택하고 원본 위치와 처리 위치, 보존기간을 계약에 넣는다.
LeRobot의 Language Columns and Recipes 공식 문서는 지속 상태용 language_persistent와 정확한 사건 시점용 language_events를 나누고, recipe가 이를 학습 대화로 조합하는 방식을 설명한다. 같은 주석도 recipe에 따라 학습 표본이 달라질 수 있으므로 데이터 버전만 기록해서는 재현되지 않는다. recipe와 코드·모델 체크포인트까지 묶는다.
파생 데이터의 권리도 확인한다. 공개 데이터의 원 라이선스, 현장 촬영 동의, 공급사 비밀유지와 모델 서비스의 데이터 처리조건이 서로 다를 수 있다. 기술적으로 다운로드 가능하다는 사실과 상업 학습·재배포가 허용된다는 판단을 같게 보지 않는다.
유지보수 계약은 모델보다 주석 계보를 오래 살린다
자동 라벨러나 프롬프트가 바뀌면 기존 데이터 전체를 조용히 덮어쓰지 않는다. 원본 해시, 자동 주석 실행 ID, 모델·프롬프트·코드 버전, 사람 수정과 승인자를 남기고 새 파생 버전을 만든다. 스키마 필드를 추가하거나 의미를 바꾸면 변환 규칙과 역호환 여부를 선언한다.
운영 계약은 누가 실패 표본을 재검수하고, 어느 오류율에서 배치를 중단하며, 수정된 주석으로 학습한 모델을 누가 회귀시험하는지까지 포함해야 한다. 공급사가 바뀌어도 원본과 승인 라벨을 내보낼 수 있는지, 삭제 요청이 원본·캐시·파생본·학습목록에 어떻게 전파되는지도 확인한다.
| 사건 | 필수 기록 | 일차 책임 | 중단·복구 기준 |
|---|---|---|---|
| VLM 누락·환각 | 원본 프레임·출력·신뢰도 | 주석 품질 책임자 | 위험 라벨 누락 상한 초과 시 배치 격리 |
| 시간경계 오류 | 센서 시각·라벨 시각·허용오차 | 데이터 엔지니어 | 공통 시계 확인 후 재분할 |
| 검수자 불일치 | 독립 판정·합의·가이드 버전 | 도메인 판정자 | 합의율 미달 시 규칙 개정 |
| 스키마·모델 변경 | 코드·프롬프트·체크포인트·변환 | 데이터셋 소유자 | 고정 회귀표본 통과 전 승격 금지 |
| 삭제·권리 요청 | 원본·파생·학습목록 계보 | 개인정보·법무 책임자 | 영향 버전 차단 및 처리 증빙 |
LeRobot 공식 Annotation Pipeline 문서는 스테이징 검증 오류가 쓰기를 중단하게 하고 특정 디버깅 옵션으로 검증을 건너뛸 수 있음을 함께 설명한다. 운영에서는 우회 플래그 사용을 감사하고, 임시 결과가 승인 데이터셋으로 섞이지 않게 저장경로와 권한을 분리한다.
확장은 사람 검수가 줄어서가 아니라 오류가 통제될 때 승인한다
확대 승인 조건은 처리 에피소드 수가 아니다. 작업군별 위험 누락, 경계오차, 검수자 합의, 사람 수정시간, 데이터 유출과 회귀 실패가 합격값 안에 있어야 한다. 특히 새로운 카메라·로봇·공정·언어가 들어오면 이전 평균을 승계하지 않고 작은 표본부터 다시 잰다.
실행 전 체크리스트는 로봇 학습 데이터 품질 점검의 센서·라벨·실패 표본 기준과 연결한다. 버전 승격 뒤에는 로봇 데이터셋 버전과 계보처럼 원본–자동 주석–사람 승인–학습 샤드–모델을 해시로 잇고, 문제가 난 모델에서 사용한 주석 버전을 역추적한다.
- 장기 작업 계층과 시작·끝 경계의 포함 규칙을 문서화한다.
- 성공·실패·개입·복구를 서로 다른 사건으로 보존한다.
- 무작위와 위험 기반 표본을 섞어 두 명이 독립 검수한다.
- 누락률·경계오차·합의·수정시간을 작업군별로 계산한다.
- 원본과 자동·수정·승인 주석을 덮어쓰지 않고 버전화한다.
- 카메라·모델·recipe·라이선스·처리 위치를 데이터 계보에 묶는다.
- 위험 라벨 상한이나 보안 조건을 넘으면 자동 승격을 중단한다.
확장 뒤에도 사람 시간을 없애는 것을 목표로 삼지 않는다. 자동화가 쉬운 정상 구간에서 시간을 줄인 만큼 희귀 실패, 새 작업과 규칙 충돌을 더 깊게 검토할 수 있어야 한다. 사람 검수량이 감소했는데 위험 누락의 발견도 함께 줄었다면 비용 절감이 아니라 관측 능력의 손실일 수 있다.
AgiBot-World 공식 저장소는 장기계획을 포함한 데이터·모델 생태계와 릴리스별 규모·형식을 공개한다. 그 규모는 자동 주석 품질의 보증값이 아니다. 실제 도입 결정은 우리 공정의 실패·복구를 정확히 구분하는지, 수정 책임과 종료 조건이 계약으로 닫혔는지로 내린다.
자동 주석 파일럿은 어떤 조건에서 멈춰야 하나
자동 주석 파일럿은 어떤 조건에서 중단해야 하나요?
위험한 실패·개입 누락이 사전 상한을 넘거나, 시간경계를 공통 시계로 재현할 수 없거나, 원본·파생본의 권리와 삭제 계보가 닫히지 않으면 중단한다. 처리량이 높아도 문제 작업군을 격리하고 가이드·센서·모델을 수정한 뒤 고정 표본으로 재시험한다.
자료 마지막 확인: 2026년 8월 26일