스테레오, ToF, 구조광 깊이 카메라를 거리·표면·주변광·동작·정확도 조건으로 비교하고 로봇 작업에서 검증하는 방법을 설명합니다.
아래에서는 용어의 차이를 실제 시스템 경계, 실패 조건과 검증 순서로 나눠 살펴봅니다.
깊이 카메라는 작업물과 환경으로 선택해야 한다
스테레오, ToF와 구조광은 모두 깊이맵을 만들지만 같은 장면에서 같은 방식으로 실패하지 않습니다. 로봇이 보는 거리, 물체 표면, 주변광, 카메라와 물체의 움직임, 필요한 정확도와 프레임 시간을 먼저 정해야 합니다.
제품 사양의 최대 거리나 최고 해상도는 특정 모드와 시험 조건의 값입니다. 빈 깊이, 가장자리 번짐, 시간 지연과 좌표 오차를 실제 작업물에서 측정하지 않으면 피킹이나 정렬 성공률을 예측하기 어렵습니다.
스테레오는 좌우 영상의 대응점으로 거리를 구한다
스테레오는 기준선이 떨어진 두 카메라에서 같은 특징을 찾아 시차를 계산합니다. 수동 스테레오는 장면의 자연 무늬에 의존하고, 능동 스테레오는 적외선 패턴을 더해 특징이 적은 표면을 보완할 수 있습니다.
거리가 멀어지면 시차가 작아져 오차가 커지고, 반복 무늬·무늬 없는 면·가림과 좌우 노출 차이가 대응점을 흔듭니다. 기준선, 초점거리, 보정 오차와 매칭 알고리즘이 함께 성능을 결정합니다.
ToF는 방출한 빛의 왕복 시간을 깊이로 바꾼다
ToF 카메라는 변조된 빛이 물체에 반사돼 돌아오는 시간 또는 위상 차를 측정합니다. 한 프레임에서 넓은 영역의 깊이를 얻기 쉬워 사람 추적, 물류 치수와 이동 로봇 인식 등에 쓰입니다.
강한 외란광, 낮은 반사율, 다중 경로 반사와 다른 ToF 장비의 간섭이 오차를 만들 수 있습니다. 예를 들어 Orbbec Femto Mega의 공식 페이지도 거리와 정확도를 모드와 운용 조건에 묶어 제시하므로 제품 수치를 기술 전체의 성능으로 일반화하면 안 됩니다.
구조광은 알려진 패턴이 변형된 정도를 읽는다
구조광은 프로젝터가 점·선·무늬를 투사하고 카메라가 물체 표면에서 변형된 패턴을 관찰해 3D 형상을 복원합니다. 정지 또는 통제된 산업 장면에서 높은 밀도와 정밀도를 얻는 제품이 많습니다.
투사와 촬영 시간이 필요한 방식은 빠른 움직임에서 왜곡되거나 여러 장 노출 사이 장면이 바뀔 수 있습니다. 강한 주변광과 투명·거울 표면도 어렵지만, 일부 산업 제품은 복수 노출과 필터링으로 특정 난표면을 다룹니다. 이 기능은 해당 제품의 시험 조건에서 확인해야 합니다.
세 방식의 차이는 장면과 시간 제약에서 드러난다
선택은 기술 이름보다 작업 조건의 교집합을 찾는 과정입니다. 빠르게 움직이는 물체, 실외광, 검은 고무, 금속 광택과 얇은 투명 포장재가 있는지에 따라 우선 후보가 달라집니다.
카메라 여러 대를 함께 쓰면 능동 조명 간섭과 하드웨어 동기화도 확인해야 합니다. RGB·깊이 정렬이 필요할 때는 각 센서의 시야각, 노출 시점과 외부 보정이 실제 로봇 좌표에서 맞는지 봅니다.
| 방식 | 깊이 신호 | 대표 강점 | 대표 실패 조건 |
|---|---|---|---|
| 스테레오 | 좌우 시차 | 수동 방식은 외부 투사 불필요 | 무늬 부족·가림·원거리 |
| 능동 스테레오 | 시차+투사 무늬 | 저텍스처 보완 | 강한 외란광·간섭 |
| ToF | 왕복 시간·위상 | 넓은 영역의 직접 깊이 | 다중 경로·반사율·간섭 |
| 구조광 | 패턴 변형 | 통제 장면의 정밀 3D | 움직임·외란광·난표면 |
거리와 시야각은 로봇 자세까지 포함해 계산한다
최소·권장·최대 거리는 카메라 렌즈 앞 숫자가 아니라 로봇이 실제로 움직이는 작업 부피와 비교해야 합니다. 카메라가 손목에 달리면 접근 중 거리와 각도가 바뀌고, 고정 카메라는 로봇 팔과 상자 벽이 장면을 가릴 수 있습니다.
시야각이 넓으면 큰 영역을 보지만 같은 픽셀 수에서 물체 하나가 차지하는 해상도는 줄어듭니다. 작업 부피의 여덟 꼭짓점, 로봇 접근 경로와 안전 여유를 좌표계에서 확인한 뒤 장착 위치를 정합니다.
검정·광택·투명체는 별도의 실패 지도를 만든다
검은 표면은 능동 적외선 반환을 약하게 만들 수 있고, 광택 면은 특정 방향으로 빛을 반사해 다른 표면처럼 보이게 할 수 있습니다. 투명체는 앞면·뒷면·배경 신호가 섞여 유효한 깊이가 나오지 않을 수 있습니다.
평균 거리 오차 하나 대신 물체 종류와 자세별 빈 깊이율, 편향, 표준편차와 가장자리 오차를 기록합니다. 실패한 픽셀을 보간해 예쁜 깊이맵을 만드는 것보다 로봇 계획기가 불확실성을 알 수 있게 마스크를 전달하는 편이 안전합니다.
시간 동기화와 좌표 보정이 깊이 품질을 완성한다
RGB, 깊이, IMU와 관절 엔코더가 서로 다른 시간에 기록되면 움직이는 로봇에서 정적인 오프셋처럼 보이는 오차가 생깁니다. 하드웨어 트리거, 장치 시계와 호스트 타임스탬프의 기준을 문서화하고 지연 분포를 측정합니다.
내부 보정과 RGB-깊이 정렬, 카메라-로봇 핸드아이 보정은 서로 다른 문제입니다. 로봇 캘리브레이션 종류와 센서 퓨전의 시간·좌표 기준을 함께 적용해야 합니다.
사양표는 같은 조건으로 다시 정렬해서 읽는다
해상도·FPS·거리·정확도는 동시에 최대가 아닐 수 있습니다. Orbbec Femto Mega는 공식 페이지에서 깊이 모드에 따라 거리와 해상도·FPS를 나눠 제시하고, Zivid 3 XL250도 정확도와 캡처 시간을 초점 거리와 시험 조건에 연결합니다.
따라서 후보표에는 사용할 모드, 노출, 필터, 거리, 주변광과 호스트 처리 시간을 한 행에 적습니다. 제품별 대표 숫자만 나열하지 않고 실제 작업 조건에서 유효한 조합을 비교합니다.
| 검증 항목 | 기록값 | 장면 변화 | 판정 예 |
|---|---|---|---|
| 빈 깊이 | 유효 픽셀 비율 | 표면·각도 | 그립 영역 기준 충족 |
| 정확도 | 편향·P95 오차 | 근접·권장·한계 거리 | 공정 허용차 이내 |
| 시간 | 프레임 나이·지터 | 카메라·물체 이동 | 계획 주기 이내 |
| 안정성 | 온도 후 오차 변화 | 30분 지속 운전 | 재보정 기준 이내 |
현장 시험은 물체·빛·동작을 하나씩 바꾼다
카메라를 고정하고 작업물 재질, 자세, 거리와 주변광을 한 변수씩 바꿉니다. 다음으로 카메라 또는 물체를 움직이며 깊이 지연과 가장자리 왜곡을 확인하고, 마지막에 실제 로봇 경로와 여러 센서를 동시에 켭니다.
정답 평면, 치수 게이지, 외부 측정기나 검증된 CAD 기준을 사용해 오차를 계산합니다. 성공한 장면만 저장하지 말고 빈 깊이와 오인식이 발생한 원본 프레임, 설정과 온도를 함께 보존합니다.
깊이맵 후처리는 실패를 숨기지 않아야 한다
공간·시간 필터, 홀 필링과 포인트클라우드 다운샘플링은 노이즈를 줄이지만 물체 가장자리나 작은 부품을 지울 수 있습니다. 전처리 전후의 빈 깊이율과 작업 성공률을 함께 비교합니다.
ROS 2에서는 깊이 영상의 등록, 포인트클라우드 변환과 디스패리티 처리를 파이프라인으로 나눌 수 있습니다. 각 노드의 입력 해상도, 카메라 정보와 프레임 ID가 맞는지 확인하고 로봇 센서 종류와 역할의 다른 센서로 실패를 보완합니다.
공식 자료와 적용 사례를 확인하는 경로
능동 스테레오 제품의 조건 예시는 RealSense D400 공식 문서, ToF 예시는 Orbbec Femto Mega 공식 사양에서 확인할 수 있습니다.
구조광 산업 카메라의 조건 예시는 Zivid 3 XL250 데이터시트, ROS 처리 구조는 ROS image_pipeline 저장소를 참고했습니다. 실제 빈 피킹 적용은 Bin picking AI와 연결해 볼 수 있습니다.
로봇 깊이 카메라 선택에서 자주 묻는 질문
실외에서는 어떤 깊이 카메라가 가장 좋은가요?
방식만으로 결정할 수 없습니다. 외란광 파장과 세기, 거리, 표면, 노출과 제품의 실외 지원 조건을 실제 장면에서 비교해야 합니다.
ToF는 스테레오보다 항상 정확한가요?
아닙니다. 거리, 반사율, 다중 경로, 기준선과 보정 등 조건이 달라 제품별 결과가 달라집니다.
투명 물체도 깊이 카메라로 볼 수 있나요?
일부 산업 제품과 처리 기법이 특정 투명·반투명 물체를 다루지만 얇은 필름과 광학 유리는 여전히 어려울 수 있습니다. 작업물로 검증해야 합니다.
해상도가 높으면 피킹도 잘되나요?
해상도 외에 빈 깊이, 가장자리 오차, 좌표 보정, 지연과 그리퍼 공차가 함께 맞아야 합니다.
카메라 한 대로 안전 센서까지 대신할 수 있나요?
일반 깊이 카메라의 인식 출력은 인증된 안전 기능을 자동으로 대신하지 않습니다. 위험성 평가와 별도 안전 계층이 필요합니다.
표에 적은 장단점은 기술의 일반적 경향입니다. 최종 선택은 해당 제품의 공식 조건과 실제 작업물 시험으로 확인해야 합니다.