Real-to-Sim-to-Real은 실제 작업 하나를 측정 가능한 시험문제로 바꾸고, 시뮬레이션에서 반복 학습한 뒤, 실물에서 드러난 차이를 다시 모델에 넣는 폐루프다. 사진처럼 닮은 장면 하나를 만드는 것과 다르다. 로봇 링크·구동기, 물체 질량·마찰·관절, 카메라·힘센서의 지연과 노이즈, 시작상태·실패조건까지 행동 결과를 바꾸는 요소를 보존해야 한다.
작동 정의는 실제 잔차를 다음 세계 버전에 되돌리는 것이다
첫 Real은 작업 범위를 고정하는 단계다. 성공·실패·사람개입을 정의하고 로봇 상태, 명령행동, 영상·힘, 물체 자세와 환경조건을 시계동기한다. Sim은 이 관측에서 기하·관절·접촉·센서와 평가기를 만들어 다양한 조건을 재생한다. 마지막 Real은 정책을 실물에 배치해 안전경계 안에서 잔차를 측정한다.
World Labs의 월드모델 기능 분류는 시각적으로 그럴듯한 렌더러와 계산 가능한 상태·물리를 내는 시뮬레이터를 구분한다. 로봇 훈련세계는 외관뿐 아니라 충돌메시·관절·재질과 행동조건을 필요로 한다. 회사의 분류를 물리 정확도의 인증으로 쓰지는 않되, 자산 계약을 분리하는 틀로 활용할 수 있다.
폐루프의 산출물은 시뮬레이터 파일 하나가 아니다. 원시 측정, 보정값, 자산·물리 파라미터, 무작위화 범위, 정책 체크포인트, 평가 시드와 실물 사건이 같은 버전 원장에 있어야 한다. 그래야 성공률이 떨어졌을 때 장면·정책·실물 중 어디가 바뀌었는지 되짚을 수 있다.
루프의 주기도 작업 위험과 변화속도에 맞춘다. 공구·부품·카메라가 자주 바뀌면 매 변경마다 작은 기준세트를 다시 측정하고, 안정된 공정이라도 마모·오염·계절 온도 때문에 주기적 재식별이 필요하다. 마지막 실물 검증일과 적용 가능한 장비·공정 범위를 세계 버전에 표시한다.
디지털 트윈·합성데이터·Sim2Real과의 경계를 먼저 긋는다
| 인접 용어 | 주된 목적 | 반드시 필요한 피드백 | R2S2R과 다른 점 |
|---|---|---|---|
| Real-to-Sim | 실제 장면·작업을 가상자산으로 옮김 | 측정·보정 정답 | 정책을 실물로 돌려 잔차를 닫지 않을 수 있음 |
| Sim2Real | 가상에서 배운 정책을 실물로 이전 | 실물 성능·안전 | 실제 장면에서 세계를 만든다는 요구가 없음 |
| 디지털 트윈 | 특정 자산·공정의 상태 동기·분석 | 운영 데이터 | 대규모 정책훈련이 필수는 아님 |
| 합성데이터 | 관측·라벨의 다양성 확대 | 실물 분포 검증 | 접촉·제어 폐루프 없이도 만들 수 있음 |
| R2S2R | 측정–훈련–실물 잔차의 반복 개선 | 사건별 잔차가 다음 세계로 귀환 | 세계·정책·평가가 함께 버전화됨 |
Sim2Real 기본 개념만으로는 첫 Real의 측정과 마지막 Real의 재보정 책임이 보이지 않는다. 반대로 디지털 트윈을 쓴다고 자동으로 정책훈련 데이터가 충분해지는 것도 아니다. 프로젝트 문서에는 어떤 상태가 실시간 동기화되고, 어떤 파라미터가 학습용으로 변형되며, 무엇이 실물 증거인지 표시한다.
‘월드모델’이라는 이름도 기능을 대신하지 않는다. 생성 영상이 로봇 카메라에는 유용할 수 있지만 접촉력이나 관절 한계를 제공하지 않을 수 있다. 외관자산, 충돌·동역학 모델, 센서 모델, 작업 평가기와 안전 제약을 각각 인수한다.
출발점은 CAD가 아니라 실패를 포함한 작업 관측이었다
전통적인 로봇 시뮬레이션은 CAD·URDF, 수작업 재질과 엔지니어가 정한 초기상태로 시작했다. 이 방식은 제어 검증과 반복시험에 유용하지만 실제 공장의 어수선함, 센서 결측, 부품 공차와 사람의 개입을 충분히 담기 어렵다. 반대로 영상만 복원하면 기하가 그럴듯해도 실행 가능한 관절·접촉이 비어 있다.
Real-to-Sim은 현장 스캔·영상·로그에서 장면과 분포를 가져와 자산 제작비를 줄이려는 흐름이다. World Labs의 로봇 시뮬레이션 사례는 생성 3D 환경을 로봇 훈련·시험과 real-to-sim에 활용하려는 연구 사례를 소개한다. 회사 사례는 확장 가능성을 보여 주지만 특정 정책의 실물 이전 성공률을 보편적으로 증명하지 않는다.
따라서 오래된 수작업 모델과 새 생성모델을 대립시키지 않는다. 치수·관절·안전영역은 측정·CAD와 엔지니어 검증을 우선하고, 배경·배치·외관 다양성은 생성 도구로 확장할 수 있다. 자산마다 출처와 허용 소비자를 표시한다.
현재 메커니즘은 기준세계와 불확실성 분포를 함께 운용한다
먼저 정격·실측으로 기준세계를 만든다. 로봇 링크·관절·제어주기, 카메라 내·외부보정, 물체 질량·무게중심·마찰, 작업대 치수와 충돌을 계측한다. 재생시험으로 동일 명령에 대한 위치·속도·전류·힘·접촉시간이 실물과 어느 범위에서 맞는지 본다.
다음은 관측된 변동을 분포로 만든다. Isaac Lab의 PhysX–Newton 정책 이전 안내는 마찰·질량·관성·관절 이득·구동기 반응·관측노이즈를 물리적으로 가능한 범위에서 무작위화하라고 설명한다. 범위를 극단적으로 넓혀 모든 오류를 덮기보다 명목모델을 고치고 불확실성을 근거와 함께 둔다.
훈련 뒤에는 고정 시드의 명목·경계·실패 세트로 정책을 동결 평가한다. 실물 첫 배치는 저속·낮은 힘·제한된 작업공간에서 시작해 상태–행동–관측을 시뮬레이션과 같은 스키마로 기록한다. 실패 시 정책만 재학습하지 않고 접촉·구동기·센서·초기상태 잔차를 분류해 다음 세계 버전에 반영한다.
실물 잔차는 결과 오차만 저장하지 않는다. 동일 명령의 관절·말단 궤적, 전류·힘, 접촉 시작과 센서 관측을 시뮬레이션과 시간 정렬해 어느 구간에서 차이가 커졌는지 본다. 새 파라미터가 한 작업을 맞추면서 다른 기준 작업을 망가뜨리는지 회귀세트로 확인한다.
한계는 관측되지 않은 물리와 정책이 악용한 틈에서 나온다
모델 오차가 작아도 정책은 그 틈을 반복 이용할 수 있다. 시뮬레이터에서만 가능한 순간가속, 과도한 접촉, 완벽한 상태추정이나 카메라 결측 무시는 높은 가상점수를 만든다. 행동·전류·힘·속도와 안전정지 횟수를 실물 한계와 비교해 보상 해킹을 찾는다.
Isaac Lab의 기어 삽입 Sim2Real 안내는 도메인 무작위화가 실제 작동범위를 덮어야 하지만 지나치게 넓으면 학습이 어려워진다고 설명한다. 공식 튜토리얼의 특정 로봇·기어 설정은 다른 조립 작업의 합격값이 아니다.
생성된 장면은 스케일·자기교차·충돌표면·재질이 시각적으로는 자연스럽고 물리적으로는 틀릴 수 있다. 사람·케이블·천·유체와 마모 같은 복합현상도 단순 강체보다 어렵다. 안전관련 판단은 검증되지 않은 생성물이나 정책 추정만으로 자동 실행하지 않는다.
관측되지 않은 조합은 무작위화 범위 안에 있다고 자동 해결되지 않는다. 서로 상관된 질량·마찰·구동기 온도를 독립 난수로 섞으면 현실에 없는 쉬운 장면이나 지나치게 어려운 장면을 만들 수 있다. 현장 분포와 공학 제약으로 상관관계를 보존하고 범위 밖 사건은 정책 중단 조건으로 둔다.
실무 독해법은 잔차 원장과 확대 조건을 보는 것이다
프로젝트를 평가할 때 가상 에피소드 수보다 실물 잔차가 다음 버전에서 줄었는지 묻는다. 버전별로 작업 성공, 접촉력·시간, 위치·시각 오차, 사람개입과 안전정지를 같은 조건에서 비교한다. 좋아진 평균과 함께 악화된 경계조건을 공개한다.
- 실제 작업·성공·실패·사람개입과 안전중단 조건을 먼저 동결한다.
- 원시 센서·행동·보정·치수와 현장 변동을 계보가 있는 데이터로 수집한다.
- 외관·충돌·관절·재질·센서·제어 모델을 다른 인수 항목으로 검증한다.
- 무작위화 범위는 실측 분포·공차·공급사 한계에 묶고 명목평가를 따로 유지한다.
- 정책은 가상 정상·경계·실패 세트와 HIL에서 통과한 뒤 제한된 실물 파일럿으로 옮긴다.
- 실물 잔차를 장면·물리·센서·정책으로 분류해 다음 버전에 반영하고 회귀시험한다.
확대는 새 환경에서 성공률만 유지될 때가 아니라 안전여유·개입률·복구시간이 목표 안에 들고 잔차 재현이 가능할 때 승인한다. 실물 증거가 없는 가상 성능과 생성세계 수는 미래 용량의 선행지표일 뿐 현재 배치 성과가 아니다.
계약 종료 조건도 둔다. 몇 차례 세계 보정 뒤에도 같은 접촉·센서 잔차가 재현되지 않거나 실물 회귀비용이 기준선의 수동 프로그래밍보다 크면 해당 작업의 폐루프 확대를 중단한다. 시뮬레이션은 설계 검토·안전교육 같은 제한된 용도로 남길 수 있다.
Real-to-Sim-to-Real 다음에는 무엇을 공부해야 하나
Real-to-Sim-to-Real 다음에 함께 공부할 개념은 무엇인가요?
도메인 랜덤화, 시스템 식별, HIL, 디지털 트윈과 데이터 계보를 이어서 보는 것이 좋다. 특히 실물 잔차를 어떤 물리·센서 파라미터로 되돌릴지 이해해야 단순한 Sim2Real 이전에서 반복 개선 폐루프로 넘어갈 수 있다.
자료 마지막 확인: 2026년 8월 26일