키포인트 사이의 관계 비용이 낮아졌다면, 계획한 자세가 입력한 목적함수에서 좋은 점수를 받았다는 뜻입니다. 작업의 모든 조건을 만족했다는 뜻까지는 아닙니다. 물체를 제대로 잡았거나, 이동 중 부딪히지 않았거나, 작업이 끝났다는 증거는 아닙니다. ReKep 방식의 계획이 화면에서는 맞아 보이는데 실제 동작이 실패했다면, 점의 추적 → 단계별 목표와 경로 → 충돌 정보 → 로봇 제어 순서로 어디서 처음 어긋났는지 확인해야 합니다.
ReKep은 환경의 3차원 키포인트들 사이에서 원하는 관계를 수치 비용으로 표현합니다. 이런 관계를 작업 단계에 따라 이어 붙여 손끝 자세를 계획합니다. 연구진의 프로젝트 페이지는 RGB-D 관측과 언어 지시에서 제약을 만들고, 이를 최적화해 로봇 손끝의 자세를 구하는 흐름을 설명합니다. 장점은 장면이 바뀔 때마다 관절 궤적 전체를 사람이 다시 쓰지 않아도 “이 부분을 저 부분에 맞춘다”는 관계를 검사할 수 있다는 점입니다. 하지만 그 결과는 작업 공간의 목표 자세입니다. 로봇이 실제로 접촉을 마쳤다는 뜻까지 담지는 않습니다.
화면에서 플러그 끝이 맞아도 삽입은 실패할 수 있습니다
가상의 플러그 삽입 작업을 생각해 보겠습니다. 플러그 끝과 소켓 입구에 점 하나씩을 잡고 두 점을 가깝게 하는 자세를 골랐다고 합시다. 시각화에서는 두 점이 겹칩니다. 그래도 접근 각도가 틀리거나, 케이블이 옆 물체에 걸리거나, 소켓에 닿기 전에 플러그가 그리퍼에서 미끄러질 수 있습니다. 점 사이의 조건은 만족했지만 물리적인 작업은 끝나지 않은 것입니다.
따라서 세 조건을 나눠 적어야 합니다. 단계 목표에는 위치뿐 아니라 필요한 방향이 들어 있는가? 접근 경로에는 장애물과 주변 부품을 피할 여유가 들어 있는가? 다음 단계로 넘어가는 조건은 실제로 잡고 정렬했다는 관측에 묶여 있는가? 빠진 조건을 최적화기가 스스로 보충해 주지는 않습니다. 방향을 설명하려고 점을 늘릴 수도 있지만, 각 점이 같은 물체의 같은 부분을 계속 가리키고 좌표계도 일관돼야 합니다.
관계형 제약의 가치는 이 요구를 눈으로 검토할 수 있게 한다는 데 있습니다. 계획이 플러그를 기울였다면 어느 점이나 비용 항목이 그 기울기를 허용했는지 되짚을 수 있습니다. 제약은 점검 가능한 작업 명세이지 성공 보증서는 아닙니다.
보기 좋은 계획이 처음 무너지는 지점을 찾습니다
아래 표는 이 글에서 제안하는 진단 순서입니다. ReKep으로 직접 실험해 얻은 실패 통계가 아닙니다. 실패한 회차 하나에 대해 영상, 추적한 3차원 점, 단계별 비용, 계획한 손끝 자세, 실제 관절 상태와 작업 결과를 같은 시간축에 맞춰 보세요.
| 겉으로 보이는 현상 | 먼저 볼 기록 | 다음 확인 |
|---|---|---|
| 제약 비용은 낮은데 영상 속 물체 관계가 틀리다 | 점의 식별, 깊이, 카메라 좌표 변환, 추적의 연속성 | 최적화 설정 전에 점 추적과 좌표계를 바로잡는다 |
| 마지막 자세는 괜찮지만 이동 중 물체에 닿는다 | 경로 제약과 충돌 거리장 | 장애물·로봇팔·잡고 있는 물체가 올바르게 표현되거나 제외됐는지 본다 |
| 계획 자세는 명확한데 손목이 도달하지 못하거나 크게 돌아간다 | 역기구학 해, 관절 한계, 제어기가 실제로 따라간 경로 | 도달 가능한 자세인지 시험하고 명령과 측정 상태를 나눠 기록한다 |
| 원하는 기하 관계에는 도달했지만 플러그가 빠지거나 들어가지 않는다 | 그리퍼 상태, 접촉 사건, 단계 전환 근거 | 잡기·삽입 실패를 키포인트 목표 실패와 분리한다 |
이 순서를 지키면 점이 프레임 사이에서 튀었는데 언어 프롬프트만 고치거나, 경로에 장애물 조건이 없었는데 제어기만 조정하는 일을 줄일 수 있습니다. 제약 점수와 실제 성공 여부는 나란히 보관해야 합니다. 스킬 실행 뒤 결과를 확인하고 다음 단계로 넘어가는 문제는 EmbodiedSkills 분석에서 이어서 볼 수 있습니다. 삽입이라면 끝까지 들어간 뒤 상태가 유지되는지처럼 작업에 맞는 판정을 별도로 정의할 필요가 있습니다.
공개 데모가 읽는 정보는 실제 로봇이 알아내야 합니다
ReKep 공식 저장소는 공개 코드를 OmniGibson 시뮬레이션 데모라고 설명합니다. README에는 실제 환경 실험에 쓰인 키포인트 추적, 마스크 추적, SDF 재구성 파이프라인이 포함되지 않았다고 명시돼 있습니다. 데모는 그 정보를 시뮬레이션에서 직접 읽습니다. 따라서 데모가 돌아간다는 사실만으로 실제 카메라에서 같은 점과 충돌 정보를 얻을 수 있다고 판단하면 안 됩니다.
README는 작업 공간에서 만든 자세가 관절 구조상 실행하기 어려울 수 있다는 점도 경고합니다. 감지와 제어의 연결 지점은 대상 로봇에서 따로 검증해야 합니다.
앞의 가상 플러그 작업이라면 로봇을 움직이기 전에 소켓만 조금 옮겨 보는 제한된 시험을 설계할 수 있습니다. 추적한 점이 실제 소켓의 같은 부분을 따라가는가? 충돌 지도에는 지그가 남고 로봇 자신의 팔은 적절히 제외되는가? 최종 위치뿐 아니라 접근 경로도 새 소켓 위치에 맞춰 바뀌는가? 이 확인을 거친 뒤에야 로봇을 천천히 움직여 자세 명령과 잡기가 맞는지 볼 수 있습니다. 이 글을 위해 해당 시험을 진행하지는 않았습니다.
실패 원인을 재현 가능한 기록으로 남깁니다
각 실패 회차에서 단계 이름, 제약 비용, 점의 이동 기록, 충돌 정보의 버전, 후보 자세, 역기구학 결과, 제어 명령, 실제 상태와 작업 결과를 저장합니다. 그중 처음 어긋난 경계에 이름을 붙이세요. 점이 잘못 잡혔다면 인식을, 점과 자세는 맞는데 경로가 막혔다면 경로와 환경 표현을, 자세에 도달했지만 물체가 빠졌다면 잡기와 접촉을 살펴보면 됩니다.
관계형 키포인트 제약은 계획이 무엇을 참이라고 가정했는지 드러내 줍니다. ReKep 연구진은 자신들의 플랫폼에서 여러 단계의 폐루프 조작을 보고했지만, 공개 시뮬레이션 데모를 다른 실제 로봇으로 옮기려면 감지와 제어를 별도로 완성해야 합니다. 제약을 만족한 궤적은 입력한 관계에 대한 증거입니다. 작업 완료 여부는 실제 동작에서 따로 확인해야 합니다. 자료 확인: 2026년 9월 29일.