FusionSense는 적은 시점의 영상으로 만든 3D 모델에서 추가 관측이 필요한 부분을 고른 뒤, 촉각으로 얻은 국부 표면을 위치가 고정된 Gaussian 앵커로 넣습니다. 접촉 위치를 고르는 단계에서는 재구성의 기하 신호와 물체 부위의 우선순위를 함께 쓰고, 모델을 고치는 단계에서는 접촉점과 표면 법선을 사용합니다. 어디를 만질지 결정하는 일과 만진 결과를 보존하는 일이 연결된 구조입니다.
FusionSense 논문의 대상은 투명하거나 반사성이 높거나 어두워 영상으로 형상을 얻기 어려운 물체입니다. 출력은 물체의 위치 하나가 아니라 장면과 물체를 표현하는 3D Gaussian 집합입니다. 각 Gaussian에는 중심, 방향, 크기, 불투명도와 색이 있으며, 이들을 카메라 방향으로 투영해 색·깊이·법선 영상을 만듭니다.
먼저 윤곽으로 전체 형태를 잡는다
초기 모델은 서로 다른 기하 단서를 결합합니다. 여러 영상에서 분할한 물체 실루엣과 카메라 자세로 visual hull을 만들고, 단안 깊이 추정으로 주변 장면의 거친 형상을 얻습니다. Visual hull은 여러 방향의 윤곽이 허용하는 공간을 좁혀 물체의 외형을 구성하는 방식입니다. 물체 표면의 무늬나 반사점을 맞추는 문제를 줄여 주는 대신, 윤곽에 드러나지 않은 국부 구조는 추가 정보가 필요합니다.
논문은 이 초기 형상을 Gaussian으로 표현한 뒤 RGB·깊이 영상과 추정 법선으로 최적화합니다. 또한 hull 주변의 껍질 영역을 이용해 바깥에 떠 있는 불필요한 Gaussian을 제거합니다. 이 단계가 만드는 것은 다음 접촉 위치를 정할 수 있는 전역 모델입니다. 촉각이 들어올 때도 그 모델의 좌표계와 주변 형상이 기준이 됩니다.
가령 가상의 토끼 조각을 여러 방향에서 촬영했다고 합시다. 몸통의 큰 윤곽은 잡혔지만 귀의 얇은 부분이 두껍게 표현됐다면, 귀의 국부 표면을 추가로 관측할 이유가 생깁니다. 접촉 한 번은 작은 영역을 자세히 보여 주므로, 전체 물체를 고르게 만지는 것보다 필요한 영역부터 고르는 전략이 중요해집니다.
높은 gradient 후보를 부위 우선순위로 다시 정렬한다
기하 기반 선택은 재구성 최적화에서 gradient가 큰 Gaussian을 찾는 데서 시작합니다. 논문은 이 신호를 복잡한 구조나 렌더링과 관측 영상 사이의 불일치와 연결합니다. 여기의 gradient는 다음 절에서 촉각 영상으로 계산하는 표면 기울기와 다른 역할을 합니다. 하나는 추가 관측 후보를 찾는 최적화 신호이고, 다른 하나는 실제 접촉면의 국부 형상을 복원하는 값입니다.
FusionSense는 임계값을 넘는 후보를 DBSCAN으로 묶어 이상점을 걸러 내고, 군집의 평균 gradient로 기하 순위를 만듭니다. 여기에 VLM이 영상과 설명을 보고 제안한 물체 부위별 접촉 우선순위를 더합니다. PartSLIP은 부위 이름을 모델의 점군에 연결하며, 각 Gaussian은 가까운 점의 부위 순위를 받습니다.
최종 정렬은 부위 순위를 먼저, 기하 순위를 그다음 적용합니다. 다음 표는 이 정렬 순서만 설명하기 위해 만든 가상 후보입니다. 실제 VLM 출력이나 FusionSense 실험 결과가 아닙니다.
| 후보 | 부위 우선순위 | 기하 순위 | 최종 접촉 순서 |
|---|---|---|---|
| 귀의 후보 A | 1 | 2 | 1 |
| 귀의 후보 B | 1 | 3 | 2 |
| 몸통의 후보 C | 2 | 1 | 3 |
기하 순위가 가장 높은 몸통 C보다 우선 부위인 귀의 후보들이 먼저 옵니다. 동시에 후보 집합 자체는 높은 gradient 영역에서 출발합니다. 따라서 부위 이름만 보고 임의의 표면점을 고르는 방식과도 다릅니다. 결과를 해석할 때는 부위 분할이 어디를 귀로 인식했는지와 그 안의 기하 순위가 함께 중요합니다.
촉각 패치의 위치는 붙들고 방향·크기를 맞춘다
광학 촉각 센서는 젤 표면이 눌린 모습을 RGB 영상으로 기록합니다. 논문에서는 반지름이 알려진 구를 눌러 RGB·영상 위치와 표면 기울기의 관계를 학습합니다. 이후 접촉 영상의 기울기에서 법선을 얻고, Poisson 적분으로 높이 지도를 복원합니다. 깊이 임계값으로 접촉 영역을 분리하면 그 영역의 3D 접촉점을 얻을 수 있습니다.
이 접촉점들은 전역 모델에 anchor Gaussian으로 추가됩니다. 핵심은 모든 파라미터를 자유롭게 움직이지 않는다는 데 있습니다.
| 앵커 파라미터 | 최적화 중 처리 | 형상 갱신에서 맡는 역할 |
|---|---|---|
| 중심 위치 | 고정 | 접촉에서 얻은 표면 위치를 유지 |
| 불투명도 | 고정 | 영상 최적화 중 앵커의 불투명도를 줄이는 경로를 제한 |
| 방향·크기·색 | 최적화 | 국부 법선과 전역 관측에 맞춰 표현을 조정 |
법선은 렌더링한 법선 영상에만 간접적으로 적용하는 것이 아니라 앵커 Gaussian에 직접 감독 신호로 들어갑니다. 앞선 가상 조각의 귀를 만져 실제 표면점과 방향을 얻었다면, 앵커 중심은 그 점에 남고 방향·크기는 주변 모델과 맞춰집니다. 국부 접촉 정보가 전역 영상 최적화 안에서 움직여 사라지는 대신 기준점 역할을 하는 셈입니다.
두 관측을 같은 공간에 놓는 입력이 필요하다
공식 README는 초기 입력으로 images, realsense_depth, transforms.json을 제시합니다. 접촉 뒤의 단계에는 tactile 자료와 gelsight_transform.json이 추가됩니다. 영상과 접촉 패치의 위치·방향을 같은 공간에서 해석할 수 있어야 앵커가 물체의 맞는 부위에 놓입니다.
촉각 복원값의 오차와 좌표 변환 오차는 서로 다른 문제를 만듭니다. 높이 지도가 잘못되면 패치 자체의 형상이 틀어지고, 센서 자세가 잘못되면 맞게 복원한 패치도 다른 위치에 붙습니다. GelSight 기준선 관리는 앞단의 영상·젤·장착 상태를 구분하는 데 도움이 됩니다. FusionSense에서는 여기에 접촉 패치와 전역 모델의 좌표 정합이 이어집니다.
결과를 살필 때도 접촉한 영역의 형상과 그 밖의 영역을 나눠 보면 개선의 근거가 분명해집니다. 전자는 실제 접촉점과 법선이 추가된 곳이고, 후자는 영상·깊이·법선 사전정보 및 전역 최적화의 영향을 받는 곳입니다. FusionSense의 사용 목적은 이처럼 드문 접촉을 필요한 위치에 집중하고, 그 국부 기하를 전체 모델에 남기는 데 있습니다.
2026년 10월 16일 확인한 논문 v1과 공식 README를 해석했습니다. 센서 수집, 설치, 접촉 선택 및 3D 재구성은 직접 실행하지 않았습니다.