피지컬 AI 안전은 모델이 위험한 명령을 알아듣는 능력만으로 완성되지 않습니다. 작업 의미를 판단하는 모델, 경로와 속도를 제한하는 제어기, 충돌과 사람 접근을 감지하는 안전 장치, 현장 절차와 책임 체계가 서로 독립적으로 위험을 줄여야 합니다. 모델 정확도가 높아도 센서가 가려지거나 브레이크가 늦고 복구 절차가 틀리면 실제 사고는 막을 수 없습니다.
안전은 의미·물리·운영의 세 층으로 나눈다
의미 안전은 ‘액체를 들지 말라’ 같은 지시와 맥락을 이해하는 능력입니다. 물리 안전은 힘·속도·거리·구역과 비상 정지를 강제합니다. 운영 안전은 승인, 교육, 점검, 로그와 사고 대응을 다룹니다.
세 층은 서로 대신하지 않습니다. 의미 모델이 올바른 결정을 내려도 센서 고장과 기계 파손을 막는 독립 보호 기능이 필요합니다.
위험성 평가는 모델 선택보다 먼저다
사람·설비·물체가 어떤 에너지와 접촉에 노출되는지, 정상 사용과 합리적으로 예상되는 오사용에서 어떤 위험이 생기는지 목록화합니다. 위험의 심각도와 노출, 회피 가능성을 기준으로 줄일 순서를 정합니다.
위험을 설계로 제거하고, 보호 장치를 넣고, 남은 위험을 절차와 정보로 관리하는 순서를 따릅니다. 경고문만 붙이는 것은 마지막 수단입니다.
산업용 로봇과 통합 셀의 책임은 다르다
ISO 10218-1:2025는 산업용 로봇 자체의 안전 요구를, ISO 10218-2:2025는 로봇 애플리케이션과 셀 통합을 다룹니다. 안전한 로봇 부품을 샀다고 완성된 공정이 자동으로 안전해지는 것은 아닙니다.
해당 표준은 서비스·가정용 로봇 전체를 포괄하지 않습니다. 적용 범위가 다른 로봇은 제품 용도와 국가 규정에 맞는 표준을 별도로 확인해야 합니다.
의미 안전은 위험한 작업 선택을 줄인다
VLM이나 VLA는 물체가 뜨겁거나 깨지기 쉬운지, 지시가 금지 구역을 침범하는지 판단할 수 있습니다. 작업 후보를 만들기 전에 금지 규칙과 환경 맥락을 적용하는 역할입니다.
Google DeepMind의 ASIMOV 안전 평가는 텍스트·영상에서 물리적 위험을 이해하는 모델 능력을 시험합니다. 벤치마크 성능은 실제 제동과 기능 안전을 인증하는 결과가 아닙니다.
저수준 안전 제어는 모델 응답을 기다리지 않는다
관절 토크, 속도, 작업 공간과 충돌 거리를 실시간으로 감시하고 한계를 넘으면 감속·정지합니다. 네트워크나 추론 응답이 늦어도 작동해야 합니다.
엣지 AI 로봇 구조에서도 안전 기능은 일반 AI 계산과 자원을 분리하고 우선순위를 보장해야 합니다. 가능한 경우 안전 인증 부품과 독립 회로를 사용합니다.
센서 하나를 믿지 않고 진단 가능성을 본다
카메라는 가려지고 힘 센서는 드리프트하며 엔코더와 네트워크는 고장날 수 있습니다. 중요한 위험은 서로 다른 원리의 센서와 상태 진단으로 확인합니다.
센서 값이 범위를 벗어났을 때 안전한 상태로 들어가는지, 고장을 감지하는 데 걸리는 시간과 가려진 구역을 시험합니다. 로봇 센서의 정확도뿐 아니라 고장 모드가 중요합니다.
사람 접근과 접촉은 속도만 낮춘다고 해결되지 않는다
사람이 들어오는 방향, 정지 거리, 로봇의 하중과 공구 모양에 따라 위험이 달라집니다. 같은 속도라도 날카로운 공구와 큰 관성은 더 큰 손상을 만들 수 있습니다.
작업 구역 분리, 안전 스캐너, 보호 정지와 협동 운전 조건을 통합합니다. 작업자가 로봇 행동을 예측하고 탈출할 공간도 필요합니다.
| 안전 층 | 주요 기능 | 고장 예 | 독립 보호 |
|---|---|---|---|
| 의미 | 위험한 지시·물체·맥락 판단 | 환각·가려짐·오분류 | 허용 작업 목록·사람 승인 |
| 계획·제어 | 경로·속도·힘 제한 | 충돌 경로·지연 | 충돌 검사·토크 제한 |
| 기능 안전 | 감지·정지·전원 차단 | 센서 단선·브레이크 지연 | 안전 PLC·이중 채널 |
| 운영 | 교육·점검·복구·로그 | 무단 재가동·절차 누락 | 권한·체크리스트·사고 대응 |
안전 정지 뒤의 재가동이 더 위험할 수 있다
정지 중 사람이 작업 셀에 들어가 물체를 옮기면 로봇의 내부 상태와 현실이 달라집니다. 이전 경로를 그대로 이어가면 충돌할 수 있습니다.
재가동 전 사람 퇴장, 센서 재확인, 작업 상태 초기화와 저속 확인 동작을 정의합니다. 원격 재가동 권한과 현장 확인 책임도 분리합니다.
학습 모델 업데이트는 변경 관리 대상이다
같은 이름의 모델도 데이터와 가중치가 바뀌면 행동 분포가 달라집니다. 소프트웨어 업데이트를 일반 콘텐츠 교체처럼 처리하지 않고 영향 분석과 회귀 시험을 거칩니다.
모델·프롬프트·도구 목록·안전 규칙·하드웨어 펌웨어 버전을 함께 기록합니다. 이전 안전 사례를 새 버전에서 다시 실행하고 롤백 경로를 준비합니다.
데이터와 사이버보안도 물리 위험으로 이어진다
카메라나 작업 지시가 조작되면 로봇이 잘못된 물체와 구역을 선택할 수 있습니다. 인증되지 않은 모델 파일, API 키 유출과 원격 제어 권한도 물리 안전 문제입니다.
네트워크 분리, 최소 권한, 서명된 업데이트, 명령 허용 목록과 감사 로그를 적용합니다. 통신이 끊겼을 때 계속 움직일지 안전 정지할지도 작업별로 정합니다.
안전 평가는 정상 성공률과 별도 표를 쓴다
성공률이 99%여도 남은 1%가 사람 충돌이면 받아들일 수 없습니다. 위험 사건, 근접 사고, 보호 정지, 오탐 정지와 위험 명령 차단을 별도 분모로 측정합니다.
AutoRT는 언어 기반 작업 필터와 함께 관절 힘 제한, 인간 감독과 물리 비활성화 스위치를 사용했습니다. 모델 규칙 하나가 안전을 보장하지 않는다는 사례입니다.
| 시험 | 질문 | 측정 | 통과 조건 예 |
|---|---|---|---|
| 금지 지시 | 위험 작업을 선택하는가 | 위반·거부·불확실 응답 | 위험 후보 실행 0건 |
| 사람 접근 | 제때 감속·정지하는가 | 감지·정지 시간과 거리 | 위험 구역 전 정지 |
| 센서 고장 | 고장을 알아차리는가 | 진단 시간·안전 상태 | 단일 고장 시 위험 동작 없음 |
| 복구 | 상태 변경 후 안전한가 | 재확인·저속·권한 | 무단·맹목 재시작 없음 |
| 업데이트 | 기존 보호가 유지되는가 | 회귀 실패·롤백 시간 | 필수 사례 전부 통과 |
현장 운영자는 중지 권한과 설명 가능한 상태가 필요하다
로봇이 왜 멈췄는지, 어떤 센서와 규칙이 원인인지 사람이 확인할 수 있어야 합니다. 원인 없는 반복 정지는 우회와 안전 기능 무력화를 부릅니다.
작업자는 즉시 정지할 권한, 안전한 수동 복구 절차와 교육을 가져야 합니다. 공급사 원격 지원이 없어도 위험 상태를 격리할 수 있어야 합니다.
안전 사례는 위험·보호·증거를 연결한다
각 위험에 어떤 설계와 보호 기능이 대응하며 시험·분석·점검으로 무엇을 확인했는지 추적합니다. 모델 정확도 보고서, 제어 시험, 부품 인증과 운영 기록이 같은 위험 항목에 연결돼야 합니다.
피지컬 AI PoC 단계부터 실패와 안전 정지를 기록하면 상용화 직전에 안전 문서를 뒤늦게 만드는 일을 줄일 수 있습니다.
피지컬 AI 안전에서 자주 묻는 질문
모델이 위험을 잘 이해하면 안전 PLC가 필요 없나요?
아닙니다. 모델 판단은 확률적이고 지연·통신·센서 오류가 있습니다. 물리 위험을 제한하는 독립 안전 기능이 필요합니다.
ISO 10218을 따르면 모든 휴머노이드가 안전한가요?
ISO 10218:2025는 산업용 로봇과 통합 셀 범위입니다. 서비스·가정 환경과 이동 플랫폼 등은 적용 범위와 추가 표준을 별도로 확인해야 합니다.
협동 로봇은 사람 옆에서 항상 안전한가요?
협동 기능이 있어도 공구·하중·속도·배치와 애플리케이션 위험성 평가에 따라 안전 조건이 달라집니다.
비상정지가 자주 걸리면 더 안전한가요?
위험을 막을 수 있지만 오탐이 많으면 생산성과 신뢰가 떨어지고 우회 행동을 부를 수 있습니다. 원인 분석과 적절한 감속·정지 설계가 필요합니다.
AI 모델 업데이트도 다시 안전 검증해야 하나요?
행동과 실패 분포가 달라질 수 있으므로 영향 분석, 필수 회귀 사례와 제한된 재배포가 필요합니다.
마지막 확인: 2026년 7월 23일. 이 글은 일반적인 안전 계층을 설명하며 법률·인증 자문이 아닙니다. ISO 10218:2025를 포함한 표준의 적용 범위와 국가 규정은 로봇·용도·현장별 전문가가 확인해야 합니다.