가장 흔한 오해는 정밀한 3D 복원이나 물체검출 결과가 나오면 로봇이 곧 공간을 이해한다는 생각이다. 공간지능은 장면을 그리는 능력만이 아니라 ‘어느 컵이 팔 뒤에 가려졌는가, 이 집게가 그 틈에 들어가는가, 왼쪽에서 접근하면 무엇이 넘어지는가’를 현재 좌표와 목표에 맞춰 답하고, 실행 가능한 행동과 결과 확인으로 이어가는 능력이다.
공간지능은 높은 3D 점수와 같다는 오해
깊이맵·포인트클라우드·메시가 정확하면 위치와 표면을 표현하기 쉬워진다. 하지만 어떤 물체가 다른 물체를 지지하는지, 서랍을 열면 가시성이 어떻게 바뀌는지, 그리퍼가 충돌 없이 손잡이에 도달하는지는 추가 추론이다. 기하 복원은 중요한 입력 또는 중간표현이지 행동 가능한 이해의 충분조건이 아니다.
물체검출도 마찬가지다. 이미지에 ‘컵’ 상자를 그리는 것과 컵의 6D 자세, 가려진 부분, 집을 수 있는 면, 목표 선반까지의 접근경로를 아는 것은 다르다. 언어모델이 ‘컵을 선반에 놓아라’고 답해도 좌표계와 로봇 관절·충돌 제약으로 변환되지 않으면 실행 사양이 아니다.
World Labs의 월드모델 분류는 에이전트·행동·상태·관측의 루프를 두고 렌더러·시뮬레이터·플래너의 출력을 구분한다. 이 기업 관점의 분류는 공간 장면을 보여주는 것과 상태변화를 예측하고 행동을 고르는 것을 분리하는 데 유용하지만, 공간지능의 국제표준 정의는 아니다.
정확한 범위는 좌표에서 행동결과까지 이어지는 연결이다
로봇용 공간지능의 최소 범위는 다섯 단계로 잡을 수 있다. 첫째 센서 관측을 로봇·카메라·작업대 좌표계에 맞춘다. 둘째 물체·자유공간·가림과 지지관계를 표현한다. 셋째 목표 행동에 필요한 도달가능성·충돌·파지 여유를 추론한다. 넷째 안전제약 안에서 행동 또는 경유점을 고른다. 다섯째 실행 뒤 실제 상태가 목표와 맞는지 확인한다.
좌표는 하나가 아니다. 이미지 픽셀, 카메라 3D, 로봇 베이스, 말단장치, 이동로봇 지도와 작업셀 좌표가 변환으로 이어진다. ‘왼쪽’ 같은 관계도 관찰자·로봇·물체 기준에 따라 달라진다. 평가 문제에는 기준 프레임과 허용 오차를 명시하고 답이 좌표·물체 ID·행동 중 무엇인지 정한다.
거리와 가시성은 확률과 불확실성을 가져야 한다. 투명·반사 물체, 가림, 움직이는 사람과 보정 오차가 있는 장면에서 단일 좌표를 확정하면 플래너가 과신한다. 보이지 않는 부분을 추정했는지 직접 관측했는지 표시하고, 불확실성이 높으면 시점을 바꾸거나 사람이 확인하는 행동을 선택할 수 있어야 한다.
입력과 출력이 무엇인지 적어야 시험문제가 된다
입력은 단안·다중시점 RGB, 깊이, 카메라 자세, 로봇 관절상태, 언어목표와 과거 행동이 될 수 있다. 모든 모델이 이 입력을 다 받는 것은 아니다. 카메라 자세가 주어진 평가와 모델이 스스로 자세를 추정하는 평가는 난도가 다르므로 구분한다. 실물 적용에서는 캘리브레이션과 시간동기 오차도 입력의 일부다.
출력은 픽셀 포인팅, 2D·3D 상자, 대응점, 거리·방향 답, 지지·포함 관계, 행동 가능성, 경유자세, 저수준 행동 또는 성공 판정으로 나뉜다. 포인팅 오차가 작아도 잡을 수 없는 면을 고를 수 있고, 언어 답이 맞아도 실제 경로가 충돌할 수 있다. 출력별 정답과 지표를 별도로 만든다.
SpatialVLM 원 논문은 3D 공간 질의응답을 통해 정성·정량적 공간추론을 다루고, 1천만 이미지에서 만든 20억 개 규모의 VQA 예시를 설명한다. 이 수치는 연구진이 보고한 데이터 생성 규모다. 많은 질의응답이 실제 로봇의 캘리브레이션·충돌·행동 성공을 자동 입증하지는 않는다.
작동 원리는 관측·관계·가능행동·피드백의 순환이다
먼저 여러 관측을 공통 장면 상태로 연결한다. 물체가 가려져도 잠시 존재를 유지하고 새 시점에서 동일 물체인지 대응시킨다. 다음으로 ‘위·안·뒤·접촉·지지’ 관계와 자유공간을 구성한다. 여기까지는 장면 이해지만, 로봇의 크기·관절·그리퍼와 목표가 들어와야 도달가능성과 행동후 결과를 계산할 수 있다.
행동 선택은 언어 추론만으로 끝내지 않는다. 고수준 모델이 ‘오른쪽에서 손잡이를 잡으라’고 제안하면 모션 플래너·충돌검사·힘과 안전제어가 물리적 가능성을 확인하고 궤적을 만든다. 실행 중 새 관측이 예상과 다르면 멈추고 상태를 갱신한다. 공간지능은 안전 PLC나 저수준 제어기를 대체하는 이름이 아니다.
공간 질문은 능동 관측으로 이어질 수 있다. 앞쪽 영상에서 목표가 가려졌다면 팔을 움직이기 전에 카메라 시점을 옮기거나 조명을 바꾼다. 불확실성을 줄이는 관측 행동도 계획의 일부다. 한 장면 정답률만 측정하면 이 능동적 정보수집과 실행 중 복구를 평가하지 못한다.
실제 공개 모델은 고수준 추론과 제어의 연결을 보여준다
Google DeepMind의 2025년 Gemini Robotics 발표는 Embodied Reasoning 계열이 포인팅, 대응점, 3D 탐지와 공간추론을 수행하고 고수준 지시를 기존 저수준 컨트롤러와 연결할 수 있다고 설명한다. 공개 비교의 2~3배 성공 주장은 해당 연구 설정의 결과이지 모든 로봇·작업의 일반 성능 향상률이 아니다.
Gemini Robotics-ER 1.6 공식 발표는 포인팅·계수, 성공 확인, 계기 판독, 다중시점과 공간·물리 추론을 포함한 기능을 소개한다. 이 발표는 2026년의 특정 모델 세대를 설명한다. 2025년 ER 결과와 현재의 후속 모델 기능을 하나의 체크포인트 성능으로 합치지 않는다.
이 사례의 중요한 구조는 고수준 공간모델과 저수준 실행계를 나눈다는 점이다. 모델이 대상과 접근방향을 제안해도 로봇별 운동학·충돌·힘·안전 제한을 통과해야 한다. 반대로 저수준 컨트롤러가 안정적이어도 목표 물체·관계·성공조건을 잘못 이해하면 정확한 궤적으로 틀린 일을 한다.
3D 복원·검출·공간추론·행동을 같은 시험으로 착각하지 않는다
| 입출력 시험 | 통과가 뜻하는 능력 | 그것만으로는 모르는 것 | 실패를 드러내는 반례 |
|---|---|---|---|
| 다중시점 3D 복원 | 카메라·표면·점의 기하 일관성 | 물체 의미·지지·도달가능성 | 정확한 메시가 있지만 손잡이와 장애물을 구분 못함 |
| 2D/3D 물체 탐지 | 대상 위치·범주·자세 후보 | 가림 뒤 영속성·파지면·행동결과 | 상자는 맞지만 그리퍼가 벽과 충돌함 |
| 공간 질의응답 | 거리·방향·관계에 대한 언어·수치 추론 | 좌표 변환·실시간성·궤적 안전 | ‘왼쪽’ 답은 맞지만 로봇 기준축이 반대임 |
| 포인팅·대응점 | 지시 대상의 픽셀·시점 간 연결 | 깊이·접근·힘·성공상태 | 가려진 점을 찍지만 실제로는 도달 불가 |
| 행동 선택 | 목표에 맞는 행동·경유점 제안 | 저수준 실행·보호·예외복구 | 시뮬레이션 성공이나 실물에서 미끄럼 |
| 성공 판정 | 행동 후 목표상태 인식 | 숨은 손상·안전·장기 안정성 | 물체는 놓였지만 지지면 밖에서 곧 넘어짐 |
따라서 ‘3D를 본다’는 제품문구를 평가할 때 입력과 출력 예시를 요청한다. 같은 장면에서 카메라 자세를 바꾸고, 일부 물체를 가리며, 크기·배치·언어 표현을 바꾼다. 좌표계가 바뀌어도 관계와 행동이 일관적인지, 불가능한 목표를 거부하는지, 직접 관측과 추정을 구분하는지 본다.
오프라인 정답률과 실물 성공 사이에는 캘리브레이션·지연·로봇 형태·접촉이라는 간극이 있다. 시험셋 문장과 장면 템플릿이 학습자료에 섞이면 공간점수는 높아도 새 물체에서 무너질 수 있다. 현장에 없는 장면·언어·카메라와 실제 실패를 포함한 보류셋을 유지한다.
다음 학습 단계는 질문 정답을 행동 합격으로 연결하는 것이다
공간지능 PoC는 한 과업을 정해 단계별로 측정한다. 예를 들어 ‘가려진 부품을 찾아 집어 지정 트레이에 놓기’라면 물체 지속성, 시점변경, 3D 자세, 파지가능성, 충돌 없는 접근, 놓기 뒤 지지와 성공판정을 각각 기록한다. 전체 성공률 하나만 보면 어느 공간능력이 병목인지 알 수 없다.
- 센서·카메라 자세·관절상태·언어목표와 허용 지연을 입력계약으로 고정한다.
- 픽셀·카메라·베이스·작업셀 좌표와 변환 정답을 독립 캘리브레이션으로 만든다.
- 거리·가시성·지지·포함·도달가능성별로 직접 관측과 추정 정답을 나눈다.
- 가림·반사·새 물체·다중시점·움직이는 장애물과 불가능한 목표를 보류시험에 넣는다.
- 고수준 제안은 모션·충돌·힘·안전제어가 거부하거나 수정할 수 있게 권한을 분리한다.
- 실행 중 예상과 실제 상태가 어긋나면 재관측·재계획·안전정지로 넘어가는지 확인한다.
- 공간 질문 점수, 계획가능률, 실물 성공·손상·사람개입을 함께 보고 배치 범위를 정한다.
합격선은 용도에 따라 달라진다. 사람에게 장면을 설명하는 도구는 낮은 주기의 질의응답으로도 가치가 있지만, 이동·파지 제어는 좌표오차·지연·거부율과 안전한 실패가 더 중요하다. 한 벤치마크의 평균점수를 모든 용도의 공간지능 등급으로 바꾸지 않는다.
2026년 8월 26일 확인 기준 공개 연구는 공간 질의응답, 포인팅·3D 탐지, 다중시점 추론과 로봇 연결 가능성을 보여준다. 특정 현장의 동작범위·안전성·새 물체 일반화는 모델 발표만으로 확정되지 않는다. 관측에서 행동결과까지 이어지는 실제 입출력 로그가 있을 때 ‘3D를 보는 AI’와 ‘공간을 이용해 행동하는 AI’를 구분할 수 있다.
Spatial Intelligence는 어떤 입력과 실패 조건으로 시험하나
로봇 Spatial Intelligence를 시험할 때 꼭 필요한 입력은 무엇인가요?
센서 영상·깊이뿐 아니라 카메라와 로봇의 좌표변환, 관절상태, 목표, 과거 행동과 시간정보가 필요하다. 무엇을 모델에 직접 주고 무엇을 스스로 추정하게 했는지 명시해야 3D 복원·관계추론·행동 성능을 공정하게 구분할 수 있다.
공간 질문에는 잘 답하는데 실제 로봇이 실패하는 조건은 무엇인가요?
좌표계·캘리브레이션·지연이 다르거나 가려진 물체를 과신하고, 제안한 접근이 관절·충돌·힘 제약을 통과하지 못할 때다. 언어·포인팅 점수와 별개로 모션 가능성, 실물 성공, 손상·사람개입과 안전정지를 시험해야 한다.
자료 마지막 확인: 2026년 8월 26일