In-Hand Manipulation은 물체를 내려놓지 않고 손가락 접촉을 바꾸며 자세와 위치를 조정하는 기술입니다. 굴림·미끄럼·손가락 보행·재파지가 섞이고, 물체 일부가 가려져 시각만으로 상태를 알기 어렵습니다. 접촉 모드, 촉각·고유감각 상태 추정, 제어 구조, 데이터와 Sim2Real, 실패 복구 시험을 한 흐름으로 설명합니다.
아래에서는 용어의 차이를 실제 시스템 경계, 실패 조건과 검증 순서로 나눠 살펴봅니다.
In-Hand Manipulation은 한 번 잡은 물체의 자세를 손안에서 바꾸는 문제다
집어 옮기기는 손과 물체의 상대 자세를 거의 고정한 채 팔이 움직일 수 있지만, 손안 조작은 물체와 손가락의 상대 운동을 의도적으로 만듭니다. 목표는 회전·평행이동·도구 정렬처럼 다양하며 그 과정에서 일부 접촉은 유지되고 일부는 이동하거나 떨어집니다.
휴머노이드 로봇 손이 어려운 이유에서 설명한 구동기·전달계·촉각 제약이 이 문제에서 동시에 드러납니다. 자유도가 많다고 자동으로 능숙해지는 것이 아니라 상태를 관측하고 안전한 접촉 전환을 계산할 수 있어야 합니다.
굴림·미끄럼·손가락 보행·재파지는 서로 다른 접촉 모드다
굴림은 접촉점의 상대 미끄럼을 줄인 채 물체 표면을 따라 접촉 위치가 이동하고, 슬라이딩은 마찰 한계에서 의도적으로 미끄러집니다. 손가락 보행은 일부 손가락이 물체를 지지하는 동안 다른 손가락을 떼어 새 위치에 놓습니다.
재파지는 접촉 집합을 더 크게 바꾸며 안정적인 중간 자세가 필요합니다. 한 정책 안에서 이 모드들이 섞이면 관측 신호와 제어 목표가 달라지므로, 상태 기계나 하이브리드 제어기로 모드별 제약과 전환 조건을 분명히 둡니다.
| 접촉 모드 | 주요 목적 | 핵심 위험 |
|---|---|---|
| 굴림 | 접촉 유지하며 자세 변경 | 예상 밖 미끄러짐 |
| 슬라이딩 | 마찰을 이용한 빠른 재배치 | 마찰계수 변화 |
| 손가락 보행 | 관절 여유·접촉 위치 회복 | 지지 접촉 부족 |
| 재파지 | 큰 자세 변화·새 기능 접촉 | 낙하·충돌·상태 불확실성 |
물체 pose만으로는 다음 손가락 동작을 결정하기 어렵다
같은 물체 자세라도 어느 손가락이 어디에 닿았고 얼마나 미끄러질 여유가 있는지에 따라 가능한 다음 동작이 달라집니다. 따라서 상태에는 물체 pose, 관절 각도와 속도, 접촉 여부, 접촉력 또는 압력 분포, 마찰 상태를 포함합니다.
로봇 6D 물체 자세 추정 글의 비전 pose는 유용하지만 손바닥과 손가락에 가린 면을 계속 볼 수 없습니다. 물체 모델과 관절 운동학, 촉각 관측을 결합해 보이지 않는 동안의 자세와 접촉을 갱신합니다.
실제 다지 로봇 손은 접촉 능력과 구동 제약을 함께 보여 준다
사진의 로봇 손은 여러 손가락 끝으로 전구를 둘러싸며 다양한 접촉을 만들 수 있습니다. 동시에 케이블과 관절 구조, 손가락 끝 크기 때문에 가능한 힘 방향과 가동 범위가 제한되고, 전구처럼 깨지기 쉬운 물체는 힘 상한이 낮습니다.
손가락 수를 늘리는 것보다 작업에 필요한 접촉을 실제로 만들 수 있는지가 중요합니다. 각 관절 한계, 자기 충돌, 케이블 장력, 손바닥 간섭을 포함한 실행 가능 영역을 물체 크기별로 측정합니다.
촉각은 접촉 위치·압력 이동·미끄러짐 시작을 보완한다
로봇 촉각 센서 글에서 다룬 압력 분포와 진동 신호는 물체가 가려진 상태에서 접촉 변화를 알려 줍니다. 중심 압력이 가장자리로 이동하거나 고주파 성분이 증가하면 굴림에서 미끄러짐으로 바뀌는 초기 신호일 수 있습니다.
촉각은 센서 재질의 히스테리시스와 드리프트, 손가락별 감도 차이가 있습니다. 접촉 없음·정적 누름·의도한 슬라이딩의 기준 데이터를 수집하고, 센서 하나의 임계값이 아니라 여러 손가락의 공간·시간 패턴으로 판단합니다.
파지 안정성은 동작 전후가 아니라 조작 중 계속 변한다
물체를 돌리는 동안 무게중심과 접촉 법선이 바뀌고 일부 손가락이 관절 한계에 가까워집니다. 시작 자세가 안정적이어도 중간 경로에서 마찰원뿔 여유나 force closure가 사라질 수 있습니다.
로봇 파지 안정성과 마찰원뿔 글의 지표를 경로 전체에서 계산하고, 최소 접촉력과 최대 물체 손상 힘 사이의 여유를 유지합니다. 불확실한 마찰계수는 하나의 값보다 범위로 두어 최악 조건에서도 가능한 경로를 선택합니다.
제어기는 물체 목표와 손가락 힘·관절 제약을 동시에 다룬다
물체 자세 오차를 줄이는 것만 최적화하면 한 손가락이 과도한 힘을 내거나 관절 한계에 닿을 수 있습니다. 물체 twist 또는 wrench 목표에 접촉 유지, 마찰 제약, 관절 위치·속도·토크, 자기 충돌과 힘 분배 제약을 함께 둡니다.
모델 기반 제어는 접촉 기하와 마찰을 명시해 해석하기 쉽지만 모델 오차에 민감합니다. 학습 기반 정책은 복잡한 접촉 패턴을 포착할 수 있으나 안전 제약과 실패 경계가 흐려질 수 있어, 저수준 힘 제한과 감독 상태 기계를 별도로 유지합니다.
접촉 모드 전환에는 히스테리시스와 최소 유지시간이 필요하다
미끄러짐 점수가 임계값 근처에서 흔들리면 제어기가 붙음과 미끄러짐 모드를 빠르게 왕복해 손가락 명령이 떨릴 수 있습니다. 진입 임계값과 해제 임계값을 다르게 두고 최소 유지시간을 적용해 채터링을 줄입니다.
전환 순간에는 목표 힘과 속도를 불연속적으로 바꾸지 말고 램프를 사용합니다. 접촉을 떼기 전 남은 손가락이 물체를 지지할 수 있는지 계산하고, 새 접촉이 확인되기 전까지 이전 지지 접촉을 완전히 해제하지 않습니다.
데이터는 성공 궤적뿐 아니라 접촉 실패와 복구를 포함해야 한다
성공 시연만 모으면 정책은 목표 자세로 가는 평균 동작은 배우지만 물체가 미끄러졌을 때 무엇을 해야 하는지 배우기 어렵습니다. 작은 미끄러짐, 손가락 미접촉, 잘못된 물체 초기 자세, 관절 포화와 재파지 성공·실패를 의도적으로 수집합니다.
OpenAI Dactyl 손안 조작 연구는 다지 로봇 손의 물체 재정향과 시뮬레이션 학습을 대표적으로 보여 줍니다. 실제 적용에서는 관절·모터·촉각·비전과 명령의 시간축을 맞추고, 물체별 에피소드와 리셋 조건을 함께 보존해야 합니다.
| 데이터 묶음 | 반드시 기록할 값 | 찾을 실패 |
|---|---|---|
| 초기 상태 | 물체 pose·접촉·관절 여유 | 불가능한 시작 파지 |
| 조작 중 | 명령·촉각·관절·물체 pose | 미끄러짐·포화·가려짐 |
| 전환 | 접촉 해제·재접촉 시각 | 채터링·지지력 상실 |
| 종료 | 목표 오차·손상·낙하·복구 | 성공처럼 보이는 위험 동작 |
Sim2Real은 마찰·접촉·구동 지연의 분포를 넓혀 다룬다
시뮬레이터의 접촉은 실제 패드 변형, 케이블 마찰과 센서 지연을 완전히 재현하기 어렵습니다. 마찰계수, 물체 질량과 관성, 관절 마찰, 모터 지연, 촉각 노이즈와 물체 치수를 무작위화해 한 모델에 과적합되지 않게 합니다.
로봇 Domain Randomization 글과 Sim2Real 실패 원인 글의 원칙대로 분포를 무작정 넓히기보다 실제 측정 범위와 실패 민감도를 반영합니다. DeXtreme 손안 조작 연구처럼 시뮬레이션에서 실제 로봇으로 옮길 때 관측과 동역학의 차이를 구체적으로 시험합니다.
점검표는 목표 자세와 함께 접촉 여유·관절 여유·복구 가능성을 본다
그림의 상태·제어·전환·복구 항목은 한 에피소드가 끝났을 때 무엇을 합격으로 볼지 정리합니다. 목표 자세 오차가 작아도 손가락이 관절 끝에 몰렸거나 물체가 가장자리 접촉에 걸려 다음 작업을 못 하면 기능적으로 실패입니다.
관측이 불확실할 때는 동작을 계속해 확인하지 말고 작은 진단 동작 또는 받침면을 이용한 안전 재파지를 선택합니다. 깨지기 쉬운 물체와 사람 주변 작업에는 최대 접촉력, 낙하 높이와 안전 놓기 위치를 별도 제한합니다.
검증은 물체·초기 파지·목표 자세·외란을 교차해 경계를 찾는다
구·직육면체처럼 단순한 물체에서 시작해 비대칭 질량, 미끄러운 표면, 작은 물체와 깨지기 쉬운 물체로 확장합니다. 초기 접촉과 목표 회전각, 속도, 마찰, 센서 가려짐과 외부 충격을 바꾸며 성공률과 복구율을 측정합니다.
최종 자세 오차뿐 아니라 최대 접촉력, 최소 파지 여유, 손가락 이동량, 에너지, 완료시간, 낙하와 물체 손상을 보고합니다. 학습 데이터 밖 물체에서 성능이 급락하는 구간을 별도 표시하고 그 범위를 운영 허용 영역에 반영합니다.
로봇 In-Hand Manipulation에서 자주 묻는 질문
In-Hand Manipulation과 재파지는 같은 뜻인가요?
재파지는 접촉 집합을 바꾸는 동작이며 손안 조작의 한 방법입니다. 손안 조작에는 접촉을 유지한 굴림과 의도적 슬라이딩도 포함됩니다.
카메라만으로 물체 자세를 추정할 수 있나요?
가능한 구간도 있지만 손가락과 손바닥의 가려짐이 큽니다. 관절 상태와 촉각을 결합하면 접촉 중 상태를 더 안정적으로 추정할 수 있습니다.
손가락이 많을수록 항상 유리한가요?
접촉 선택지는 늘지만 제어 차원, 자기 충돌, 배선과 상태 추정도 복잡해집니다. 작업에 필요한 접촉과 관절 여유가 핵심입니다.
학습 정책만으로 힘 제한을 맡겨도 되나요?
안전이 중요한 시스템에서는 별도의 저수준 힘·토크·관절·낙하 제한과 감독 상태 기계를 두는 편이 안전합니다.
성공률 외에 무엇을 측정해야 하나요?
최종 pose 오차, 최대 접촉력, 최소 파지 여유, 관절 포화, 물체 손상, 복구율과 완료시간을 함께 봅니다.
손안 조작은 접촉과 마찰의 불확실성이 큰 기술입니다. 물체 손상과 낙하 위험을 고려한 단계적 시험, 힘 제한과 안전한 복구 상태가 필요합니다.