사람의 오른손이 같은 위치에 도착해도 휴머노이드의 팔꿈치가 반대로 꺾이거나 발이 바닥을 미끄러지면 좋은 리타기팅이 아니다. 입력 골격과 로봇 관절 사이의 인터페이스에서 링크 길이, 좌표계, 접촉과 자유도가 한꺼번에 달라지기 때문이다. 그래서 관절각을 한 번 변환하는 문제가 아니라, 보존할 작업 의도를 정하고 물리적으로 실행 가능한 궤적으로 닫는 시스템 문제로 다뤄야 한다.
먼저 동작이 아니라 보존할 작업 의도를 적는다
첫 입력은 사람의 관절각 목록이 아니라 시간축이 있는 관측 묶음이다. 루트 위치와 방향, 몸통·팔·다리의 골격, 손목과 손가락, 시선 또는 머리 방향, 발·손의 접촉 구간을 같은 시계로 정리한다. 영상에서 추정한 자세라면 가림, 깊이 모호성, 좌우 뒤바뀜과 바닥 높이 오차를 신뢰도와 함께 남긴다.
그다음 무엇을 지킬지 우선순위를 붙인다. 상자를 옮기는 작업이라면 손끝의 경로와 상자 접촉이 팔꿈치 모양보다 중요할 수 있다. 걷고 몸을 숙이는 동작이라면 지지발, 몸의 진행방향과 무게중심 여유가 손의 세부 자세보다 앞선다. 모든 사람 관절을 같은 가중치로 맞추면 로봇이 가진 자유도를 덜 중요한 자세에 써 버릴 수 있다.
2026년 8월 26일 확인 기준 Isaac Lab의 Isaac Teleop 문서는 손 추적·컨트롤러 원천을 그래프형 리타기팅 파이프라인에 넣어 로봇 행동 텐서로 합치는 구조를 설명한다. 문서의 손 추적은 손마다 26개 관절을 제공하지만, 그 사실이 사람의 전신·발접촉·힘까지 자동으로 복원한다는 뜻은 아니다. 입력 장치가 주지 않는 의도는 별도 센서나 주석으로 채워야 한다.
- 원본 좌표계·단위·프레임률과 추정기 버전을 기록한다.
- 루트 자세와 양발·양손의 접촉 시작·종료를 별도 채널로 둔다.
- 손끝·시선·보행방향처럼 작업 성공에 직접 연결되는 특징을 먼저 고른다.
- 가림·낮은 신뢰도·바닥 추정 실패를 보간값과 구분한다.
- 정지 자세, 전이 동작, 접촉 동작을 나눠 각각의 허용오차를 정한다.
- 사람 동작을 그대로 재현할지, 같은 작업 결과만 보존할지 합의한다.
사람 골격과 로봇 모델을 하나의 표현으로 맞춘다
표현 단계에서는 사람 키와 로봇 링크 길이를 단순 비율로 줄이지 않는다. 사람의 골반·어깨·손·발 표식을 로봇의 베이스·몸통·말단 링크에 대응시키고, 각 링크의 부모관계, 관절축, 가동범위와 중립자세를 읽는다. 손가락이 적거나 허리가 없는 로봇처럼 대응 링크가 없으면 삭제가 아니라 대체 의도와 손실함수를 정의한다.
좌표 변환은 입력 세계, 사람 루트, 로봇 베이스, 각 말단 좌표를 명시해 구성한다. 바닥 법선과 전진축이 어긋나면 자세가 자연스러워 보여도 발 높이와 진행 방향이 틀어진다. 신장 차이는 전신에 하나의 배율을 쓰기보다 손 도달, 발 간격, 루트 높이처럼 작업별 목표에 반영하고, 실제 로봇 치수는 URDF·MJCF 등 선택한 모델 버전과 묶는다.
ASAP 공식 저장소의 리타기팅 절차는 SMPL 형상·동작 준비, 로봇 XML과 동작 설정, 휴머노이드–SMPL 형상 맞춤, 동작 리타기팅의 순서를 공개한다. 저장소가 G1용 예제와 범용 절차를 제공한다는 사실은 참고 구현의 범위다. 다른 손 구조·질량·구동기·소프트웨어 버전까지 같은 설정으로 맞는다는 보장은 아니므로 로봇별 대응점과 모델 파일을 다시 검증한다.
표현의 산출물은 목표 관절각만이 아니다. 각 프레임의 목표 말단 자세, 루트 속도, 접촉 상태, 신뢰도와 원본 프레임 연결을 함께 둔다. 그래야 이후 최적화가 손 경로를 바꿨거나 발 접촉을 포기했을 때 어떤 의도가 손실됐는지 되짚을 수 있다.
검산용 기준자세도 따로 만든다. 정면 기립, 한 발 지지, 양손 도달과 쪼그림처럼 축·길이·접촉 오류를 눈으로 구분하기 쉬운 자세를 로봇 모델마다 고정한다. 새 모션을 대량 변환하기 전에 이 작은 묶음에서 좌우, 미터·라디안, 관절 영점과 바닥 높이를 통과시키면 뒤 단계의 최적화가 입력 오류를 억지로 보상하는 일을 줄일 수 있다.
결정 모델은 닮은 자세보다 실행 가능한 타협을 찾는다
리타기팅 최적화는 여러 오차를 동시에 줄인다. 손·발·머리의 위치와 방향, 선택한 링크의 자세, 관절 변화의 부드러움, 접촉점 속도, 자기충돌 거리와 관절 한계가 대표 항이다. 가중치는 보편 상수가 아니라 작업과 로봇별 결정이다. 손끝 오차를 지나치게 낮추면 몸통이 과도하게 기울고, 균형만 강조하면 상호작용 의도가 사라질 수 있다.
먼저 한 프레임 역기구학으로 대응과 좌표를 확인하고, 그다음 시간창 최적화로 속도·가속도와 접촉 연속성을 묶는다. 발이 지면에 닿는 구간에는 발 위치와 회전을 고정하거나 낮은 허용속도를 두고, 전환 구간에서는 접촉을 부드럽게 바꾼다. 불가능한 자세는 최적화기가 몰래 관절 한계를 넘기게 두지 말고 어떤 목표를 완화했는지 표시한다.
ASAP 원 논문은 리타기팅한 사람 동작으로 시뮬레이션 추종 정책을 먼저 학습하고, 시뮬레이션과 현실 물리의 차이를 보정하는 단계를 제시하며 Unitree G1을 포함한 제한된 전이 시나리오를 평가한다. 이는 공개된 기술 경로의 실증이지 모든 동작·휴머노이드에서 즉시 실물 실행된다는 뜻이 아니다. 리타기팅 궤적과 그것을 추종하는 제어정책의 성능도 분리해 기록한다.
손과 발의 목표가 동시에 불가능할 때 결정 규칙이 특히 중요하다. 조작 중에는 지지발과 균형 여유를 하드 제약으로 두고 손끝 오차를 허용하거나, 반대로 안전하게 고정된 상체 작업에서는 몸통·팔 자세를 바꿔 손의 접촉을 보존할 수 있다. 어떤 목표를 포기했는지 프레임별 플래그로 남겨 사람 검토와 데이터 필터가 같은 결정을 재현하게 한다.
제어기는 목표 자세를 토크와 균형 제약 안에서 실행한다
기구학적으로 가능한 관절열도 실물에서는 실패할 수 있다. 질량·관성·마찰, 모터 토크와 속도 한계, 통신 주기, 발바닥 접촉과 지연이 추가되기 때문이다. 리타기팅 결과를 위치 명령으로 바로 보내기 전에 동역학 시뮬레이션에서 접촉 충격, 지지다각형 또는 안정성 지표, 요구 토크와 속도를 확인한다.
추종 정책이나 전신제어기는 기준 궤적을 현재 상태에 맞게 수정한다. 이 계층이 균형을 잡는다는 이유로 나쁜 기준 동작을 허용해서는 안 된다. 발미끄럼·자기침투·순간적인 큰 가속도를 학습기가 언제나 고칠 것이라고 가정하면 기준 데이터의 결함이 보상 행동으로 굳어질 수 있다.
실물 시험은 속도와 진폭을 낮춘 보호 모드에서 시작한다. 매 구간에 정지 가능한 중립자세를 두고, 추종오차·토크·기울기·발 접촉이 상한을 넘으면 다음 프레임을 계속 재생하지 않는다. 비상정지와 보호정지는 학습 정책 밖의 검증된 계층이 맡고, 사람이 가까이 있는 조작은 별도의 위험분석과 셀 안전 요구를 따른다.
동작을 시간축으로 느리게 재생하는 시험도 단순한 안전조치 이상의 정보를 준다. 저속에서는 좌표·접촉·관절 한계 오류를, 목표 속도에 가까워질수록 토크 포화·제어지연·충격을 더 잘 분리할 수 있다. 단계별로 같은 사건을 반복하고 속도 배율과 제어기 버전을 기록해야 ‘느리면 성공’한 결과를 정상 속도의 성공으로 잘못 승격하지 않는다.
시뮬레이션과 실물의 잔차가 다음 리타기팅을 고친다
폐루프 검증은 원본 사람–리타기팅 목표–시뮬레이션 실행–실물 실행 네 궤적을 같은 사건 ID로 잇는다. 손끝·시선·루트 진행·발접촉처럼 처음에 보존하기로 한 특징의 오차를 각각 계산하고, 관절 한계 여유, 자기충돌 최소거리, 요구 토크와 발미끄럼도 따로 본다.
문제가 보이면 원인을 위로 추적한다. 사람 영상에서 발 위치가 흔들리면 자세 추정·바닥 좌표를 고치고, 목표는 안정적인데 시뮬레이션 발이 미끄러지면 접촉·마찰 또는 제어를 본다. 시뮬레이션은 통과하지만 실물 토크가 치솟으면 질량·구동기·지연 모델과 실제 캘리브레이션을 다시 잰다. 모든 실패를 정책 재학습으로 덮지 않는다.
| 연결 구간 | 확인할 신호 | 대표 실패 | 우선 수정 |
|---|---|---|---|
| 사람 관측→표현 | 골격·루트·접촉·신뢰도 | 가림 뒤 발·손이 튐 | 추정기·보간·접촉 라벨 |
| 표현→로봇 모델 | 링크 대응·축·단위·가동범위 | 좌우 반전·부자연 관절 | 모델 버전·좌표 변환 |
| 목표→최적화 | 과제별 오차와 가중치 | 손은 맞지만 균형 상실 | 우선순위·제약·시간창 |
| 궤적→제어 | 토크·속도·접촉·지연 | 충격·발미끄럼·포화 | 동역학·추종기·속도 축소 |
| 시뮬레이션→실물 | 같은 초기상태와 잔차 | 가상 성공·실물 불안정 | 질량·마찰·구동기 재식별 |
Retargeting Matters 원 논문은 리타기팅 과정의 발미끄럼, 자기침투와 물리적으로 불가능한 동작이 이후 추종 정책에 미치는 영향을 별도 문제로 다룬다. 논문의 비교 결과는 사용한 휴머노이드·동작·학습 설정에 한정된다. 다만 기준 궤적 품질을 정책 성능과 분리해 보고해야 한다는 시험 원칙을 뒷받침한다.
일반화 한계는 새로운 몸과 접촉에서 가장 먼저 드러난다
한 로봇에서 맞춘 동작을 다른 로봇에 옮기면 링크 길이뿐 아니라 자유도, 손 기능, 관절속도, 발 크기와 질량분포가 달라진다. 같은 휴머노이드도 배터리, 도구와 짐의 위치가 달라지면 동역학 여유가 바뀐다. ‘어떤 휴머노이드에도’라는 설명은 소프트웨어 입력 형식의 범용성과 실행 성능의 범용성을 구분해 읽어야 한다.
접촉이 많은 작업은 오차가 더 민감하다. 문 손잡이, 상자, 계단처럼 환경 기하와 힘의 방향이 중요한 동작은 빈 공간 모방보다 자산·마찰·컴플라이언스의 영향을 크게 받는다. 사람의 발·손 크기와 로봇 말단 형상이 달라 원본 접촉 자체가 불가능하면 같은 궤적 대신 같은 작업 결과를 목표로 재설계해야 한다.
일반화 시험은 동작을 무작위로 많이 재생하는 것보다 한 조건씩 바꾸는 편이 진단에 유리하다. 동일 궤적에서 바닥 마찰, 운반 질량, 시작 자세와 속도만 바꾸고 실패 경계가 어디서 움직이는지 본다. 경계를 넘은 표본은 학습에서 삭제할지, 더 느린 실행으로 제한할지, 새 최적화 설정을 만들지 용도별로 결정한다.
출고 기준은 보기 좋은 영상이 아니라 작업 의도 보존과 안전 여유의 동시 통과다. 새로운 동작군·바닥·짐·속도마다 기준 분포 밖 여부를 표시하고, 불확실하면 동작 범위를 줄이거나 사람 승인으로 되돌린다. 2026년 공개 도구는 파이프라인을 구성하는 근거를 제공하지만, 특정 휴머노이드의 토크·균형·안전 한계는 해당 하드웨어와 실물 시험으로만 확정된다.
휴머노이드 리타기팅 설정은 기종 간 재사용할 수 있나
한 휴머노이드에서 성공한 리타기팅 설정을 다른 기종에도 그대로 쓸 수 있나요?
그대로 쓸 수 없다. 링크·관절축·가동범위·질량·토크·발과 손 형상이 달라 대응점, 작업 우선순위와 동역학 검증을 다시 해야 한다. 입력 형식을 재사용할 수 있어도 실물 실행 성능은 새 기종의 시뮬레이션과 저속 실물시험으로 확인한다.
자료 마지막 확인: 2026년 8월 26일