FeelAnyForce는 촉각 센서의 RGB 영상을 받아 3차원 힘 벡터를 추정합니다. 깊이 영상은 추론 때 추가로 넣는 입력이 아니라, 학습 중 영상 인코더가 접촉 형상을 배우도록 돕는 정답입니다. 하나의 인코더에 힘 회귀 head와 깊이 복원 head를 연결해 함께 학습하므로, 깊이를 출력하지 않는 센서에도 RGB에서 힘으로 이어지는 경로를 적용할 수 있습니다. 다른 센서로 옮길 때는 센서별 데이터로 이 대응 관계를 다시 맞춥니다.
FeelAnyForce 논문 §III-B는 이 구조를 명시합니다. 센서 내부 카메라가 보는 변형된 젤의 영상이 입력이고, 별도의 기준 힘 센서에서 얻은 합력이 힘 정답입니다. 출력은 세 축의 힘 값으로 이루어진 벡터입니다. 접촉면 각 지점의 압력 분포를 출력하는 문제와 구분하면 모델의 역할을 이해하기 쉽습니다.
학습에서는 RGB·깊이·힘이 한 묶음을 이룬다
훈련 샘플은 촉각 RGB 영상 T, 깊이 영상 D, 기준 힘 벡터 F를 묶습니다. DINOv2로 사전학습된 ViT 인코더는 T에서 특징을 뽑고, 같은 특징을 두 출력 경로에 전달합니다. 힘 회귀기는 세 축의 힘을, 깊이 디코더는 접촉 깊이 영상을 예측합니다.
| 데이터 또는 출력 | 학습에서의 역할 | 힘 추론에서의 역할 |
|---|---|---|
| 촉각 RGB 영상 T | 공유 인코더의 입력 | 필요한 센서 입력 |
| 기준 힘 벡터 F | 예측 힘과 비교하는 정답 | 예측할 대상 |
| 깊이 영상 D | 깊이 복원 오차를 계산하는 정답 | 별도 입력으로 요구하지 않음 |
| 예측 힘 | 힘 손실을 계산 | 사용할 3D 힘 출력 |
| 예측 깊이 | 인코더에 형상 관련 학습 신호 제공 | 깊이 정답을 공급할 필요 없음 |
논문의 힘 경로는 MLP 형태의 네 bottleneck 층과 마지막 선형 층을 사용합니다. 깊이 경로는 네 개의 역합성곱 층을 거칩니다. 학습 손실은 힘 예측의 L1 항과 깊이 복원의 L2 항을 가중합합니다. 힘 값만 맞추는 학습에 접촉면의 변형을 설명하는 과제를 추가해, 같은 영상 특징이 두 작업에 쓰이도록 구성한 것입니다.
예를 들어 가상의 한 학습 샘플에서 기준 힘이 (1.0, 0.0, 5.0)N, 예측이 (0.8, 0.1, 4.6)N이라고 하겠습니다. 세 축의 절대 오차 합은 0.2 + 0.1 + 0.4 = 0.7N입니다. 이것이 힘 손실에 기여하는 값의 예시이며, 여기에 정답 깊이 영상과 예측 깊이 영상의 차이도 별도로 기여합니다. 깊이 손실과 두 가중치가 주어지지 않았으므로 이 숫자만으로 전체 학습 손실을 계산하지는 않습니다.
깊이를 입력으로 넣는 설계라면 새 센서에서도 같은 깊이 데이터가 필요해집니다. FeelAnyForce는 깊이를 정답으로 배치해, 훈련 중에는 형상 정보를 이용하면서 추론 경로는 RGB로 유지합니다. 이것이 논문에서 깊이를 출력하지 않는 DIGIT를 논의할 수 있는 구조적 이유입니다.
힘 정답은 눌린 뒤 안정된 상태에서 수집한다
공식 프로젝트와 논문 §III-A는 로봇 팔이 여러 압입자를 GelSight Mini에 누르고, 센서 아래 설치한 힘 센서로 기준값을 얻는 수집 장치를 설명합니다. 로봇과 센서 좌표계는 세 점을 이용한 정합으로 연결합니다. 압입자의 자세를 바꾼 뒤 말단장치의 z축 방향으로 조금씩 이동하면, 센서 표면에 수직인 접촉뿐 아니라 비스듬한 접촉도 만들 수 있습니다.
연구진은 각 이동 단계 뒤 센서가 안정될 시간을 둔 다음 촉각 영상과 힘을 기록했습니다. 따라서 이 훈련 데이터의 수집 방식은 빠르게 충돌하는 순간을 연속 촬영한 방식과 다릅니다. 작은 이동 뒤 기다리는 과정이 영상과 힘 정답의 대응을 안정시키는 데 쓰였습니다.
훈련에는 10개 기본 형상의 3D 프린트 압입자로 수집한 20만 개 이상의 샘플을 사용합니다. 접촉 형상에는 단순한 볼록 면뿐 아니라 떨어진 여러 접촉 부위, 고리와 십자 같은 형상, 평평한 면이 포함됩니다. 같은 힘에서도 접촉 면적과 젤 변형이 달라지는 경우를 학습에 넣기 위한 구성입니다.
힘 범위는 축마다 다릅니다. 논문 §III-A는 Fz 방향의 15N 초과 데이터와 Fx·Fy의 약 4N 범위를 설명하며, 평평하고 부드러운 젤이 큰 전단력을 견디기 어렵다는 원인을 듭니다. 수집 뒤에는 압입자별 힘 분포를 조정해 일부 범위에 샘플이 몰리는 현상을 줄입니다. 이 축별 데이터 범위는 모든 방향에 동일한 오차나 동작 범위를 적용할 수 있는지 판단할 때 먼저 볼 조건입니다.
접촉 전 배경 영상과 깊이 정답은 역할이 다르다
모델 입력을 만들 때는 접촉이 없는 촉각 배경 영상을 빼서 접촉에 따른 변화를 강조합니다. 논문에서 GelSight Mini의 RGB 입력 크기는 240×320이며, 320×320으로 패딩한 뒤 224×224로 축소합니다. 깊이 정답 역시 별도 정규화를 거칩니다. 배경 제거는 입력 영상 처리이고, 깊이 정답은 학습 손실을 만드는 데이터입니다.
이 구분은 새 센서에서 추정이 달라졌을 때 도움이 됩니다. 접촉 전 조명이나 젤 상태가 달라졌다면 입력 쪽 기준선을 먼저 볼 수 있습니다. RGB 입력은 정상적으로 들어오지만 기준 힘과 예측의 관계가 달라졌다면 센서별 힘 회귀의 적응 문제를 살펴볼 차례입니다. GelSight 기준선과 드리프트 관리 글은 전자의 광학·장착 변화 구분을 다룹니다. FeelAnyForce의 보정은 여기에 알려진 힘을 대응시켜 영상에서 힘으로 가는 모델을 맞추는 작업이 더해집니다.
GelSight 개체 보정과 DIGIT 적응은 범위가 다르다
논문 §IV-B의 보정 장치는 센서를 고정하는 아래쪽 장착부와, 압입자를 단 회전 가능한 위쪽 장착부로 구성됩니다. 알려진 위치에 추를 올려 힘이 연결된 영상을 얻고, 이를 센서별 적응에 사용합니다. 보고된 비교에서는 100개 보정 영상을 수집했으며, 보정용 큰 구형 압입자는 해당 시험 데이터에 포함하지 않았습니다.
같은 GelSight Mini 계열이라도 센서와 젤의 조합이 달라지므로 보정 데이터를 따로 얻습니다. DIGIT는 조명 분포와 기계적 특성이 더 크게 달라, 논문은 회귀 head 전체를 미세조정해야 했다고 명시합니다. “RGB를 입력으로 받을 수 있다”는 구조적 호환성과, 새 센서에서 힘 값을 맞추는 적응 과정은 이렇게 이어집니다.
Table III에서 연구진의 DINO RD 방법은 보정 후 두 GelSight 조합에서 정규화 오차 4.2%, 4.3%, DIGIT에서 9.2%를 보고했습니다. 이는 해당 표의 센서·보정·시험 조건에 따른 결과입니다. 새 센서 계획을 세울 때는 하나의 공통 정확도보다 어떤 보정 데이터로 어느 부분을 조정했는지, 그리고 센서별 시험 결과가 어떻게 달라졌는지를 비교하는 편이 구체적입니다.
이 구조를 자신의 데이터에 옮긴다면 먼저 RGB, 깊이, 기준 힘의 역할을 고정하면 됩니다. 깊이가 있는 센서의 훈련 샘플은 두 head를 함께 학습시키고, 힘을 추론할 센서에서는 RGB 전처리와 센서별 회귀 적응을 연결합니다. 출력의 좌표계와 축별 시험 범위를 함께 정해야, 추정된 세 숫자를 다음 제어 동작에서 어떤 힘으로 해석할지도 정해집니다.
2026년 10월 16일 확인한 FeelAnyForce 논문 v1과 공식 프로젝트를 해석한 글입니다. 데이터 수집, 모델 학습·보정 또는 실제 힘 측정 실험은 수행하지 않았습니다.