로봇 데이터 팩토리는 영상을 대량 저장하는 시설이 아니다. 실제 로봇과 사람 시범에서 데이터를 모으고, 사용 권리를 확인한 뒤, 훈련과 평가를 분리하고, 검증된 모델만 현장에 배포해 다시 실패를 회수하는 운영 체계다. 저장 용량보다 “어떤 실패가 왜 생겼고 어느 모델을 고쳤는가”를 추적할 수 있어야 데이터 팩토리라고 부를 만하다.
데이터가 현장으로 돌아와야 팩토리가 된다
LG전자는 2026년 8월 발표에서 서울 양재 R&D 캠퍼스에 Data Factory를 건설 중이며 연말 완전 가동을 목표로 한다고 밝혔다. 이 시설에는 집안과 제조 현장을 재현한 훈련 공간, 물류 자동화와 로봇 손 데이터 수집 공간이 포함된다. LG전자·NVIDIA 로봇 협력 공식 발표에 따르면 수집한 데이터는 NVIDIA 로보틱스 스택과 연결해 증강·합성하고 LG의 Robot Foundation Model 개선에 활용할 계획이다.
공개된 규모도 현재 상태와 목표를 나눠 읽어야 한다. 시설은 지하 1층과 지상 3층, 총면적 1만㎡로 소개됐고, LG는 연말까지 수백 대의 로봇을 두겠다고 했다. 직접 수집과 합성·증강 데이터를 합쳐 연말 10만 시간, 약 12년 분량에 이를 것이라는 수치 역시 달성 결과가 아니라 회사의 예상이다.
SEER Robotics도 2026년 전략 발표에서 실로봇 수집, 다원 수집, 거버넌스, 훈련, 시뮬레이션 평가, 능력 피드백을 연결하는 데이터 체계를 제시했다. 두 사례가 보여 주는 공통점은 데이터가 한 번 쌓이고 끝나는 것이 아니라 현장 능력으로 돌아가야 한다는 점이다.
| 단계 | 남겨야 하는 것 | 빠지면 생기는 문제 |
|---|---|---|
| 수집 | 센서·행동·사람 개입·작업 결과와 공통 시각 | 원인과 결과를 연결할 수 없음 |
| 정제·거버넌스 | 품질 판정, 소유권, 동의, 보관·삭제 이력 | 학습 가능 여부와 책임이 불명확해짐 |
| 훈련·평가 | 데이터·코드·모델 계보와 숨긴 평가 세트 | 누수로 성능이 부풀거나 재현이 안 됨 |
| 배포·회수 | 승인, 카나리, 현장 지표, 롤백, 실패 재수집 | 나쁜 업데이트가 플릿 전체로 번짐 |
수집 단위는 영상 파일이 아니라 작업 에피소드다
컵을 선반에 넣는 장면을 카메라로만 찍으면 로봇이 무엇을 보고 어떤 힘을 냈는지 알 수 없다. 하나의 작업 에피소드에는 RGB·깊이·촉각, 관절 위치와 속도, 힘·토크, 명령, 배터리 상태, 원격 조작과 안전 정지, 최종 결과가 같은 시간축에 들어가야 한다. 시작 상태와 성공·부분 성공·실패·중단 기준도 작업마다 고정한다.
성공 데이터만 모으면 현장 모델은 실패 직전의 신호를 배우지 못한다. 손잡이가 젖었을 때의 미끄러짐, 일부가 가려진 물체, 통신 지연, 사람이 작업 구역에 들어온 순간, 원격 운영자가 개입한 이유를 별도 라벨로 남긴다. 정상 장면이 1만 번 반복된 데이터보다 서로 다른 실패 100건이 개선 방향을 더 선명하게 보여 줄 수 있다.
수집량을 시간으로 보고할 때는 로봇이 실제 행동한 시간, 대기와 재설정 시간, 중복 프레임 비율을 분리한다. “10만 시간”은 저장량을 말할 뿐 작업 다양성이나 유효 데이터 비율을 자동으로 증명하지 않는다.
수집 설계에는 ‘무엇을 저장하지 않을지’도 들어간다. 모든 카메라 원본을 무기한 보존하면 비용과 개인정보 노출 면적만 커질 수 있다. 안전사고 분석에 필요한 원본, 학습에 필요한 정제본, 운영 통계만 남기는 요약본을 보존 기간별로 나누고, 품질 기준을 통과하지 못한 에피소드는 격리한다. 격리 데이터가 우연히 다음 훈련 세트에 들어가지 않도록 상태 전이와 승인자를 시스템으로 강제한다.
시간 동기화가 어긋나면 접촉의 원인이 사라진다
로봇 데이터는 센서마다 주기가 다르다. 카메라는 30Hz, 관절 상태는 수백Hz, 촉각 이벤트는 더 빠를 수 있고, 원격 조작 명령에는 네트워크 지연이 붙는다. 공통 시계와 지연 메타데이터가 없으면 컵이 미끄러진 뒤 힘을 줄였는지, 힘을 줄인 탓에 미끄러졌는지 순서가 뒤집힌다.
수집 파이프라인은 원본 타임스탬프를 보존하고, 재표본화와 보간을 별도 파생 버전으로 만든다. 센서 교정값과 펌웨어, 로봇 식별자도 에피소드에 묶어야 같은 파일을 나중에 재생할 수 있다. 프레임 누락이나 시계 점프가 생기면 조용히 메우지 말고 품질 플래그로 남긴다.
라벨 정의 역시 기술 문제다. ‘성공’을 물체가 목표 구역에 들어간 순간으로 볼지, 손을 안전하게 뺀 뒤까지로 볼지에 따라 같은 작업의 수치가 달라진다. 운영팀과 학습팀이 작업 완료 조건을 함께 서명해야 현장 KPI와 모델 평가가 갈라지지 않는다.
거버넌스는 고객 데이터의 사용 범위를 정한다
로봇은 공장 설비와 작업자의 얼굴, 집 안 구조, 제품 결함처럼 민감한 정보를 함께 기록할 수 있다. 장비를 구매했다고 해서 고객이 원본·파생 데이터와 학습된 모델의 모든 권리를 자동으로 갖는 것도 아니고, 공급사가 모든 로그를 다른 고객 모델에 쓸 수 있는 것도 아니다. 수집 전에 계약과 기술 통제를 맞춰야 한다.
권리 표에는 누가 원본을 소유하는지, 어떤 목적으로 학습·평가에 쓸 수 있는지, 제3자와 공유하거나 국외로 이전할 수 있는지, 보관 기간과 삭제 방법, 파생 모델의 권리가 누구에게 있는지를 적는다. 사람 영상은 최소 수집·가명처리·접근 통제를 기본값으로 두고, 삭제 요청이 들어왔을 때 해당 데이터로 만든 파생 세트를 찾을 수 있어야 한다.
접근 권한은 폴더 단위보다 역할과 작업 단위로 좁힌다. 원본 영상 조회, 라벨 수정, 훈련 승인, 배포 승인을 한 계정에 몰아주면 실수나 내부 위협을 추적하기 어렵다. 모든 변경은 사용자, 시각, 이유, 이전 값과 함께 감사 로그에 남긴다.
삭제 정책은 문서로만 두지 말고 정기적으로 복구 불가능성을 시험한다. 특정 작업자나 고객 현장의 에피소드 ID를 넣었을 때 원본, 복제본, 라벨, 학습 후보 세트에서 모두 찾아지고 정해진 절차로 제거돼야 한다. 이미 만들어진 모델에 어떤 대응이 필요한지는 계약과 위험 수준에 따라 다르므로 ‘데이터 삭제’와 ‘모델 폐기’를 같은 버튼으로 약속해서는 안 된다. 백업의 보존 만료와 복구 시 재삭제 절차도 빠지기 쉽다.
합성 데이터는 드문 위험을 채우는 데 쓴다
NVIDIA Cosmos 공식 페이지는 센서 데이터를 정리·주석·중복 제거하는 도구와 세계 기반 모델을 활용한 합성 데이터, 훈련·평가 프레임워크를 소개한다. 합성은 야간·악천후·부분 가림·충돌 직전처럼 현실에서 반복 수집하기 위험하거나 드문 조건을 넓히는 데 유용하다.
그러나 합성 영상의 물리적 개연성이 실제 센서와 접촉을 그대로 재현한다는 뜻은 아니다. 반사 재질, 투명 물체, 모터 백래시, 카메라 노이즈, 사람의 예측하기 어려운 행동은 시뮬레이션과 다르게 나타날 수 있다. 합성 데이터로 훈련한 뒤에는 사용하지 않은 실로봇 데이터로 따로 평가하고, 합성 비율을 바꿨을 때 어느 실패가 줄고 늘었는지 확인한다.
출처 태그도 유지해야 한다. 실제·원격조작·시뮬레이션·생성 데이터가 섞인 세트에서 출처를 지우면 모델 성능이 올랐을 때 무엇이 기여했는지, 특정 실패가 어느 데이터 편향에서 왔는지 알 수 없다.
훈련과 평가 사이의 숨은 중복을 막는다
로봇 데이터는 연속 촬영이 많아 무작위 프레임 분할만 하면 거의 같은 장면이 훈련과 평가 양쪽에 들어간다. 같은 집, 같은 물체, 같은 조작자의 연속 에피소드를 나눠 넣으면 모델이 일반화한 것처럼 보이지만 사실상 장면을 기억했을 수 있다. 작업·장소·로봇·날짜·물체 묶음 단위로 분할해야 한다.
숨긴 평가 세트는 모델 개발자가 반복해서 들여다보지 못하도록 관리한다. 배포 전에는 실험실 평가와 현장 섀도 모드, 제한된 카나리 플릿을 순서대로 거친다. 평균 성공률 외에도 작업별 최저 성능, 개입률, 충돌 직전 정지, 복구 시간, 이전 모델 대비 퇴행을 본다.
평가 세트가 오래되면 현장 변화를 놓칠 수 있지만, 새 실패를 보이는 즉시 같은 세트에 넣고 개발자가 반복 튜닝하면 다시 누수가 생긴다. 운영 중 발견한 사례는 원인 분석용과 다음 평가판 후보로 분리하고, 평가판을 바꾼 날짜와 변경 이유를 고정한다. 이전 모델도 새 평가판에서 다시 돌려야 개선 폭을 공정하게 비교할 수 있다. 점수 하나 대신 작업·환경별 성능표를 유지하면 특정 고객 현장의 하락이 전체 평균에 묻히는 일을 줄일 수 있다.
| 검증 질문 | 통과 증거 | 중단 또는 재작업 신호 |
|---|---|---|
| 평가 누수가 없는가 | 장소·작업·로봇별 분할 목록과 중복 검사 | 동일 연속 촬영이 훈련·평가에 함께 존재 |
| 실패를 실제로 줄였는가 | 동일 조건에서 이전 모델과 반복 비교 | 평균은 상승했지만 위험 작업 최저값 하락 |
| 데이터 사용 권리가 있는가 | 에피소드별 동의·계약·보존 정책 | 출처나 삭제 경로를 찾을 수 없음 |
| 현장에 되돌릴 수 있는가 | 모델 계보, 카나리 결과, 자동 롤백 연습 | 어느 데이터로 만든 모델인지 불명확 |
배포는 자동 업데이트보다 안전 게이트가 먼저다
현장 로그가 들어오자마자 학습하고 모든 로봇을 갱신하는 구조는 빠르지만 위험하다. 잘못 라벨링한 실패, 고장 난 센서, 공격자가 심은 데이터가 플릿 전체 행동으로 확산될 수 있다. 수집과 학습이 자동화돼도 배포 승인은 별도 안전 게이트를 지나야 한다.
모델 레지스트리에는 사용한 데이터 버전, 코드와 환경, 평가 결과, 승인자, 적용 로봇을 연결한다. 처음에는 트래픽이 적고 회수가 쉬운 로봇에만 배포하고, 개입률·작업시간·안전정지·하드웨어 온도를 이전 버전과 비교한다. 임계치를 넘으면 새 모델을 끄고 검증된 버전으로 돌아가는 절차를 실제로 연습한다.
현장 피드백도 모두 학습 대상으로 받아들이지 않는다. 센서 고장, 운영자 실수, 공정 변경처럼 모델이 해결할 수 없는 원인을 먼저 분리한다. 데이터 팩토리의 목적은 로그를 많이 소비하는 것이 아니라 다음 개선에 필요한 로그를 정확히 고르는 것이다.
처음 구축할 때는 100개 에피소드로 계보를 시험한다
대규모 저장소를 먼저 사기보다 하나의 작업과 로봇 한 대를 고른다. 샘플 에피소드 100개를 모아 영상·관절·힘·개입 신호가 같은 시간에 재생되는지 확인하고, 데이터 한 건이 수집에서 삭제까지 어디를 거치는지 추적한다. 이어서 실패 조건을 의도적으로 추가해 숨긴 평가 세트를 만들고, 작은 모델을 카나리 장비 한 대에만 배포한다.
로봇 촉각 센서, 텔레오퍼레이션 데이터, 모방학습과 강화학습 비교는 수집 신호와 시범 데이터, 학습 방식의 차이를 이해하는 데 도움이 된다.
구축 지표는 총시간만으로 두지 않는다. 유효 에피소드 비율, 작업·물체·환경 다양성, 실패와 사람 개입의 분포, 권리 확인률, 평가 누수 건수, 모델별 롤백 시간까지 월별로 본다. 이 지표가 연결돼야 파일 더미가 실제 로봇 능력을 누적하는 자산으로 바뀐다.
비용표에는 스토리지와 GPU 외에 라벨 검수, 현장 재설정, 센서 교정, 개인정보 처리, 데이터 반출 심사, 실패 재현 시간을 넣는다. 값싼 정상 장면을 계속 모으는 것보다 드문 실패를 안전하게 재현하고 원인을 확인하는 데 비용이 더 들 수 있다. 어떤 데이터 묶음이 어느 현장 KPI를 개선했는지 연결하지 못하면 규모가 커질수록 중단해야 할 수집을 찾기 어려워진다.
자주 묻는 질문
로봇 영상을 많이 모으면 데이터 팩토리인가요?
아니다. 영상과 로봇 상태·행동·사람 개입을 시간에 맞춰 기록하고, 권리·품질·훈련·숨긴 평가·배포·실패 회수까지 이어져야 한다. 영상만으로는 행동의 원인을 재현하기 어렵다.
합성 데이터만으로 실제 로봇을 학습할 수 있나요?
일부 능력과 드문 상황을 빠르게 학습하는 데 쓸 수 있지만 실제 센서 노이즈와 접촉, 장비 편차는 남는다. 합성에 쓰지 않은 실로봇 데이터와 제한된 현장 배포로 검증해야 한다.
현장 데이터는 자동으로 공급사 소유인가요?
계약에 따라 달라진다. 원본과 파생 데이터, 모델, 로그의 수집·학습·공유·국외 이전·삭제 권리를 각각 명시해야 하며 개인정보와 영업비밀도 별도로 통제해야 한다.
확인한 공식 자료
최종 확인: 2026년 8월 23일