첫 피지컬 AI 연구실은 ‘로봇 한 대+카메라+GPU’라는 쇼핑 목록으로 시작하지 않는다. 최소 구성은 승인된 controller와 문서화된 명령·상태 인터페이스가 있는 로봇, 원시 프레임과 타임스탬프를 보존할 카메라, 기록 재생이 가능한 컴퓨팅·저장, 반복 작업용 지그, 그리고 위험성 평가가 정한 보호장치·비상정지·reset·에너지 격리다. GPU는 모델 메모리와 end-to-end 지연을 CPU 또는 대여 환경에서 먼저 측정한 뒤 선택한다. 아래 로드맵은 완결된 안전 설계가 아니라 제조사 문서·현지 법규·기관 규정으로 보내는 구축 체크리스트다.
한 작업을 기준으로 최소·선택 BOM을 나눈다
연구실을 열 때 여러 로봇과 센서를 한꺼번에 사기보다 한 작업을 고른다. 물체 접근과 파지, 표식 위치로 이동, 카메라 기반 분류처럼 시작·종료·성공·실패를 관찰할 수 있는 작업이 좋다. 해당 작업에 필요한 입력, 출력, 좌표계, 실행 주기, 작업물과 안전 경계를 적는다. 교육 실습과 연구 논문용 데이터 수집이 섞이면 계정·변경 승인·데이터 보존 수준도 나눈다.
장비 구매 전에 소프트웨어 배포판과 문서 경로를 고정한다. ROS 공식 문서에서 지원되는 ROS 2 배포판, 설치·튜토리얼과 패키지 문서를 확인한다. 최신이라는 이유만으로 실습 중간에 배포판을 바꾸지 않고 운영체제·드라이버·미들웨어·패키지·모델 버전을 한 환경 파일로 남긴다. 특정 ROS 배포판이 모든 로봇 하드웨어를 지원한다고 가정하지 않는다.
- 필수 — 로봇·controller: 제조사가 승인한 controller, 상태·명령 API, 제한 운전 모드, 오류·reset 문서와 장비 식별자를 확보한다.
- 필수 — 카메라·센서: 원시 프레임, 노출, 타임스탬프와 calibration을 내보낼 수 있고 목표 작업의 시야·거리·조명을 재현할 수 있어야 한다.
- 필수 — 컴퓨팅·저장: ROS·드라이버·모델 버전을 고정하고 원시 데이터와 실제 명령을 유실 없이 기록·재생할 CPU, 메모리, 저장 용량을 측정해 정한다.
- 필수 — 작업대·지그·기준물: 같은 시작 상태와 성공·실패를 반복 판정할 수 있고 작업물이 움직이거나 교체된 이력을 남길 수 있어야 한다.
- 필수 — 안전·시설: 위험성 평가 소유자, 제조사 매뉴얼, 적용 법규·기관 규정, 보호장치, E-stop, 수동 reset, 에너지 격리와 감독 책임을 시작 전에 승인한다.
- 선택 — GPU·추가 센서·원격 컴퓨팅: 모델 메모리, end-to-end 지연, 동시 실험, 데이터 반출 제한을 측정한 뒤 필요한 항목만 추가한다.
- 선택 — 두 번째 로봇·고급 손·모션캡처: 첫 작업의 가설과 실패 원인을 기존 구성으로 구분할 수 없을 때 연구 질문과 함께 추가한다.
성공 정의는 영상 한 장이 아니다. 같은 입력 기록을 재생해 같은 파이프라인을 실행할 수 있는지, 실제 작업에서 오류를 재현할 로그가 남는지, 중단 뒤 승인된 초기 상태로 돌아오는지 확인한다. 예산표에는 로봇·controller, 안전 설비, 작업대·지그, 센서·케이블, 컴퓨팅·저장, 예비부품, 교육·정기 점검, 배송·세금과 시설 공사를 별도 행으로 두되 출처 없는 보편 금액은 제시하지 않는다.
시뮬레이션·재생형 구조로 데이터 경로부터 고정한다
첫 구조는 actuator가 없는 시뮬레이션·재생형이다. 개발 워크스테이션 또는 격리된 컴퓨팅 환경에서 로봇 모델, 카메라·센서 기록, 작업 장면과 추론 코드를 실행한다. 입력 파일과 시뮬레이터 상태, 시드, 모델과 설정을 버전으로 묶고 출력 행동·지연·오류를 저장한다. 실패한 실행을 다른 학생이나 연구자가 같은 환경에서 다시 볼 수 있어야 한다.
ROS 2의 Gazebo 연동 튜토리얼은 시뮬레이터와 ROS 2를 연결하는 공식 문서 경로다. 튜토리얼 통과가 실물의 접촉·마찰·센서 노이즈·통신 지연을 검증한다는 뜻은 아니다. 사용 중인 배포판과 시뮬레이터 조합의 문서를 다시 확인하고, 실제 로봇으로 넘어갈 때 모델 차이를 별도 시험한다.
교육 계정에서는 준비된 장면과 읽기 전용 기준 데이터를 제공하고, 연구 계정에는 새 센서 기록·모델·실험 설정을 등록할 권한을 준다. 공용 기준 데이터는 수정하지 않고 실험별 파생본과 메타데이터를 만든다. GPU가 없어도 CPU나 원격 승인 환경에서 작은 모델·기록 재생을 시작할 수 있으며, GPU 구매는 모델 메모리·추론 지연·동시 실험 요구를 측정한 뒤 정한다.
실물 분리형 구조에서는 연구 컴퓨팅과 제어·안전을 나눈다
실물 단계에서는 연구 컴퓨터가 카메라와 모델을 다루더라도 모터 전력과 안전 권한까지 소유하게 하지 않는다. 로봇 제조사의 승인된 controller와 motion interface, 위험성 평가로 선택한 보호장치·비상정지, 물리 구역과 감독 책임을 둔다. 연구 노드는 제한된 명령 계약을 통해 목표나 행동 후보를 보내고, 제어 계층은 속도·힘·작업공간·상태 한계를 확인한다. 이 분리는 제품 종류와 적용 표준에 맞춰 integrator·기관 안전 담당자가 승인해야 한다.
카메라·IMU·엔코더를 함께 쓰면 로봇 센서 퓨전의 시간과 좌표 맞추기처럼 시계, 프레임과 캘리브레이션을 먼저 관리한다. USB 케이블을 꽂았다는 사실만으로 같은 시간축이 되지 않는다. 원시 데이터, 드라이버 타임스탬프, 변환 트리, 로봇 상태와 실제 명령을 함께 저장해 센서 오류와 모델 오류를 분리한다.
네트워크도 연구망, 장비 제어, 관리·로그와 외부 접근을 목적에 맞게 나눈다. 원격 접속은 계정·승인·기록과 만료를 두고 수업 편의를 위해 상시 관리자 권한을 공유하지 않는다. 실제 로봇 펌웨어나 안전 설정 변경은 실험 코드 배포보다 높은 승인 단계로 둔다. 교육 실습은 제한 속도와 준비된 작업공간에서 운영하고, 새로운 접촉·공구·자율 기능은 별도 위험 검토로 보낸다.
인터페이스가 많아질수록 연구 결과의 주인이 흐려진다
통합형 구조는 시작이 빠르다. 한 컴퓨터에 카메라, 추론, ROS 노드와 로그를 두면 설정이 적고 학생이 전체 흐름을 보기 쉽다. 하지만 드라이버 충돌, 자원 경합이나 재부팅이 제어와 기록을 동시에 멈출 수 있다. 분리형 구조는 오류 격리와 권한 관리에 유리하지만 시간동기, 네트워크, 배포·모니터링과 장비 유지 부담이 늘어난다.
선택은 팀 규모보다 실험 위험과 재현성 요구에서 나온다. actuator가 없는 수업은 통합형으로 단순하게 운영할 수 있다. 실제 접촉, 고속 이동, 외부 작업물과 자율 모델을 다루면 연구 코드 실패가 안전 제어까지 전파되지 않도록 분리한다. 두 구조 모두 데이터 형식, 좌표, 명령 단위, 버전과 오류 상태를 인터페이스 계약으로 남긴다.
GPU도 경계가 필요하다. 추론 지연은 모델 시간만이 아니라 카메라 노출·전송·전처리·후처리·통신·제어를 합친 값이다. 로봇 추론 지연 예산의 단계별 측정을 적용해 병목을 확인한 뒤 컴퓨팅을 확장한다. 평균 프레임률이 좋아도 긴 꼬리 지연이 motion controller의 명령 만료나 안전정지를 만들 수 있다.
한 계층의 실패가 어디까지 번지는지 보고 구조를 고른다
연구실 구조는 정상 흐름보다 고장 전파로 비교한다. 아래 표는 구성요소가 멈췄을 때 어떤 증거와 복구가 필요한지 묻는 초기 표다. 완결된 안전 설계나 보호거리 표가 아니며, 로봇 종류·속도·힘·도구·공간과 국가·기관 규정에 맞는 위험성 평가가 별도로 필요하다.
| 실패 시작점 | 통합형에서 번질 수 있는 범위 | 분리형에서 확인할 차단·복구 |
|---|---|---|
| 카메라·드라이버 멈춤 | 추론·기록·제어 노드 자원까지 영향 | 입력 timeout, 안전 상태, 기록 노드와 제어기의 독립성 |
| GPU 메모리·프로세스 오류 | 전체 워크스테이션 지연·재부팅 | 연구 노드 격리, 명령 만료와 승인된 baseline 복귀 |
| 시간동기·좌표 오류 | 한 프로세스 안에서 조용히 잘못된 행동 생성 | 프레임·시계 검증, 컨트롤러 한계와 이상 상태 차단 |
| 네트워크 단절 | 센서·명령·로그가 함께 끊김 | 로컬 안전 제어, 통신 watchdog, 로그 재동기와 재승인 |
| 연구 코드 잘못된 명령 | 모터 인터페이스까지 직접 전달될 위험 | 명령 allowlist·한계 검사·motion controller와 안전 계층 분리 |
| 비상정지·보호장치 작동 | 소프트웨어 상태와 물리 상태 불일치 | 에너지 격리, 원인 확인, 수동 reset과 승인된 재가동 |
| 로그·저장 실패 | 실행은 됐지만 결과 재현 불가 | 실험 시작 전 저장 상태 확인, 실행 중 상태 표시와 중단 규칙 |
미국 산업 현장 로봇 위험과 safeguarding을 설명하는 OSHA Technical Manual의 로봇 장은 설치·프로그래밍·정비 단계의 위험을 확인할 공식 자료다. OSHA는 미국 문맥이며 학교·연구기관의 현지 법규, 로봇 제조사 지침, 기관 안전규정과 적용 표준을 대신하지 않는다. 이 글의 표도 실제 안전설계·보호거리·에너지 격리 절차를 완성하지 않는다.
실물로 넘어가는 문턱을 단계별 승인으로 만든다
연구실은 한 번에 완성하지 않는다. 시뮬레이션, 기록 재생, 전원 없는 하드웨어 점검, 제한된 수동·저속 운전, 고정 작업, 감독된 자율 실행 순으로 증거를 쌓는다. 각 단계에서 누가 승인하고 어떤 실패가 다음 단계로 가지 못하게 하는지 적는다.
- 한 작업의 입력·출력·좌표·주기·성공·실패와 중단 조건을 먼저 고정한다.
- ROS·운영체제·드라이버·시뮬레이터·모델·설정 버전을 재현 가능한 환경으로 보존한다.
- 기준 센서 기록과 시뮬레이션에서 같은 파이프라인을 재생하고 로그·오류를 확인한다.
- 위험성 평가 소유자, 제조사 안전 매뉴얼, 적용 법규·기관 규정과 로봇별 safeguarding 요구를 문서로 승인한다.
- E-stop·보호장치·수동 reset·에너지 격리·감독 운전 모드를 실제로 시험하고 시험자·결과·미해결 항목을 시작 전 증거로 남긴다.
- 교육 실습, 유지보수, 새 도구·접촉 작업과 자율 실행의 승인 권한을 분리하고 어느 단계가 위험성 재평가를 요구하는지 정한다.
- 연구 GPU·네트워크와 motion controller·독립 안전권한을 분리하고 명령 계약을 시험한다.
- 교육 계정, 연구 계정, 관리자와 안전 설정 변경 권한을 나누고 장비 예약·감독을 기록한다.
- 전원 없는 점검과 승인된 수동·제한 운전 뒤에만 실물 자율 실행으로 넘어간다.
- 원시 데이터·시간·좌표·실제 명령·안전 사건·결과를 실험 ID에 묶어 보존한다.
- 고장 뒤 안전한 상태, 원인, reset과 재가동 승인까지 재현한 뒤 다음 작업·속도·도구를 추가한다.
NIST의 스마트 제조 로봇 시스템 프로그램은 상호운용성과 성능 측정·시험방법의 필요성을 보여 주는 공식 맥락이다. 특정 교육과정이나 연구실 인증을 제공하는 자료로 쓰지 않는다. 우리 실험의 측정 대상, 장비 식별자, 환경 조건과 재실행 절차를 분명히 하는 데 적용한다.
첫 로봇이 안정되면 새 장비보다 질문을 추가한다. 다른 카메라, 다른 작업물, 새로운 모델 또는 두 번째 로봇 가운데 무엇이 연구 가설을 가장 잘 검증하는지 고른다. 기존 데이터 경로와 안전 책임을 그대로 재사용할 수 있는지 먼저 보고, 인터페이스가 바뀌면 기준 기록과 위험 검토를 갱신한다. 장비 수보다 설명 가능한 실험 수가 연구실의 성숙도를 보여 준다.
피지컬 AI 연구실 구축 로드맵 실무 질문
처음 연구실을 구성했을 때 가장 먼저 무너지는 부분은 무엇인가요?
대개 장비 사양보다 버전·시간·좌표·권한과 로그 연결이 먼저 흔들린다. 카메라와 모델은 동작해도 어떤 입력이 어떤 명령을 만들었는지 재현하지 못하거나 연구 코드가 제어·안전 경계와 섞인다. 그래서 첫 구매 전에 한 작업의 최소 BOM과 인터페이스를 고정하고, 실물 운전 전에는 제조사 문서·위험성 평가·E-stop·보호장치·reset·에너지 격리 증거를 승인한다.
자료 마지막 확인: 2026년 8월 26일