Figure Index는 로봇 학습을 위해 사람이 촬영한 영상을 모은다. 영상은 작업이 진행되는 모습을 보여 줄 수 있지만, 이를 재현할 관절 명령이나 힘, 동기화된 로봇 상태까지 제공하는 것은 아니다. 로봇 개발팀이 물어야 할 질문은 수집·주석 파이프라인을 통과한 영상에 어떤 감독 신호가 남는가이다.
Figure는 2026년 8월 25일 Index를 Helix에 데이터를 공급하는 Figure 전용 파이프라인으로 소개했다. 회사 설명에 따르면 업로드 영상은 필터링, 부정 제출 검토, 중복 제거, 재균형, 주석 단계를 거친다. 따라서 Index는 단순한 업로드 저장소보다 많은 처리를 한다. 그러나 9월 20일 확인한 공식 페이지에는 채택률, 최종 학습 세트 크기, Index 데이터만의 향상을 분리한 독립 평가가 없다. 이 글은 공개된 설명을 검토했으며, 앱을 사용하거나 비공개 데이터셋을 열어 보지는 않았다.
사람 영상과 로봇 시연은 서로 다른 신호를 가르친다
사람 영상에는 물체, 접촉 순서, 공간 배치, 도구 사용, 한 작업을 끝내는 여러 방식이 담길 수 있다. 이런 범위는 표현 학습, 작업 이해, 캡션 생성, 계획에 도움이 된다. 감독된 로봇 시연은 다른 층을 더한다. 알려진 로봇 기체가 실행한 행동과 관측이 시간에 맞춰 연결된다.
| 확인 질문 | 수집한 사람 영상 | 감독된 로봇 시연 |
|---|---|---|
| 직접 관측되는 것은? | 카메라에 보이는 사람 동작, 물체, 장면, 접촉, 결과 | 로봇 관측과 에피소드 중 실행한 행동 또는 명령 |
| 빠질 수 있는 것은? | 관절·그리퍼 상태, 힘, 보정, 행동 타이밍, 로봇 실패 라벨 | 특정 로봇 구성과 수집 절차 밖의 다양한 사람 작업 |
| 직접 가르치기 좋은 것은? | 시각 개념, 작업 순서, 물체 상호작용, 환경 변화 | 정해진 로봇이 관측을 실행 가능한 행동으로 바꾸는 방법 |
| 무엇을 검증해야 하나? | 촬영 품질, 허가, 작업 의미, 중복, 범위, 주석 | 동기화, 행동 의미, 기체 일치, 성공 기준, 데이터 분할 |
이 경계가 절대적인 것은 아니다. 파이프라인은 자세를 추정하고, 캡션을 붙이거나, 영상을 다른 신호와 정렬할 수 있다. 중요한 것은 그 변환을 명시하는 일이다. 영상 수만으로는 로봇 정책에 필요한 제어 목표가 최종 예시에 들어 있다고 판단할 수 없다.
Index는 주석 전에 수집 흐름을 걸러 낸다
Figure의 Index 발표에는 구체적인 처리 순서가 나온다. 자동 검사는 기술·시각·의미 품질을 선별한다. 사람 분석가는 필터를 우회하려는 시도가 있는지 표본을 검토한다. 이미 채택한 데이터와 유사도 임계값을 넘는 영상 구간은 버린다. 남은 데이터는 작업 할당량과 임베딩 군집으로 재균형한 뒤 계층형 텍스트 캡션을 붙인다.
같은 조리대와 물체, 같은 카메라 각도에서 거의 같은 동작을 찍은 두 제출 영상을 예로 들어 보자. 이는 설명을 위한 가상 사례다. 업로드 수는 두 개 늘지만 두 번째 영상이 새로운 감독 신호를 거의 더하지 못할 수 있다. 오히려 다른 잡기 방식, 실패, 시점, 환경이 더 가치 있을 수 있다. Figure는 중복 제거와 균형 조정의 논리를 공개했지만 임계값과 탈락률은 공개하지 않았다. 따라서 이 사례는 처리 원리를 설명할 뿐 수율을 추정하지 않는다.
영상이 로봇에 도움이 되는지 묻는 다섯 질문
- 학습 목표는 무엇인가? 시각 인코더, 작업 계획기, 보상 모델, 저수준 제어기는 서로 다른 라벨을 요구한다.
- 결정적 사건이 화면에 보이는가? 접촉이 가려지거나 결과가 화면 밖에서 일어나면 깨끗한 영상도 해석하기 어렵다.
- 서로 다른 예시인가? 중복 제거 뒤의 작업, 물체, 환경, 전략, 실패 변화를 세어야 한다.
- 어떤 기체 신호가 빠졌는가? 로봇 데이터나 추가 라벨링으로 보충할 행동, 타이밍, 고유감각, 힘 정보를 구분한다.
- 데이터 가치를 분리해 측정할 수 있는가? 모델, 로봇 작업, 테스트 분할을 고정하고 추가 데이터 소스만 바꿔 비교한다.
이 질문은 Index를 로봇 학습 데이터 원천으로 해석하기 위한 것이다. 동기화된 로봇 시연과 별도로 수집한 교정 데이터의 차이는 XR-2 학습 데이터 검토에서 확인할 수 있다. 자율 실행 중 사람 개입이 남기는 정보는 Human-in-the-Loop 로봇 데이터 가이드에서 다룬다.
전용 접근과 모델 향상 증거는 별개의 질문이다
공개 Index 페이지는 기여자 앱 접근을 제공한다. 데이터셋 다운로드, API, 카탈로그, 연구 라이선스, 재현 가능한 학습 패키지는 제공하지 않는다. Figure 발표는 이 파이프라인을 전용이라고 부른다. 따라서 영상 모음을 공개 데이터셋으로 해석해서는 안 된다.
거버넌스도 데이터 품질 경계 안에 있다. Figure의 현재 개인정보 보호정책은 사람이나 주변 환경의 사진·영상·녹음을 감각 데이터로 분류한다. 따라서 데이터셋을 평가할 때 촬영 허가와 후속 사용이 어떻게 관리되는지도 확인해야 한다. 이 정책만으로 모든 영상이나 모든 학습 용도에 대한 허가가 확보됐다고 판단할 수는 없다.
Index는 운영자가 설명한 대규모 수집·정제 시스템의 사례다. 확인한 공식 페이지에는 Index가 Helix를 얼마나 향상했는지 분리한 독립 감사나 통제 실험 결과가 없다. 따라서 결론에는 조건이 붙는다. 크라우드소싱 사람 영상은 필터링과 라벨링 뒤에 작업·환경 범위를 넓힐 수 있지만, 로봇 행동 감독, 접근 권리, 측정된 모델 향상에는 별도의 증거가 필요하다.