자율실험실에서 AI 모델을 인터록처럼 취급하면 안전 계층이 잘못 놓인다. 모델은 다음 조건을 추천할 수 있지만 비상정지, 압력·온도 한계와 문·배기 상태를 강제하는 최종 수단이 되어서는 안 된다. 물리 위험은 모델·네트워크와 독립된 하드웨어 또는 안전제어가 차단하고, 오케스트레이터는 그 허가 신호 안에서만 움직여야 한다.
반대로 모든 예외를 사람 확인창으로 보내도 안전해지지 않는다. 야간 경보 폭주, 불명확한 센서 상태와 반복 재시도는 운영자가 잘못 승인하게 만든다. 교정·불확실성·시료·위험 상태를 작업 전에 기계적으로 검사하고, 범위를 벗어나면 안전 상태로 멈춘 뒤 원인을 분류해야 한다.
안전 범위는 실험·시설·데이터를 함께 포함한다
먼저 실험별 물질, 양, 온도·압력·에너지, 반응성, 생물·방사선 위험과 이동 로봇의 사람 공존을 목록화한다. 정상 조건뿐 아니라 혼합 순서 오류, 냉각·배기·전원·네트워크 상실, 용기 파손과 잘못된 시료를 포함한다. 이 위험평가는 모델이 제안할 수 있는 탐색공간의 바깥 경계를 정한다.
OSHA 29 CFR 1910.1450은 미국 비생산 실험실의 유해화학물질 작업에 화학위생계획, 책임자, 특히 유해한 물질의 지정구역·후드·오염폐기·제염과 정기 검토 등을 요구한다. 같은 규정의 부록 A 지침은 작업 전 위험평가와 공학적 제어 우선 등을 권고하지만 비강제 지침이다. 적용 법규는 국가·기관에 따라 다르므로 이를 전 세계 단일 기준으로 확대하지 않는다.
데이터 무결성도 안전 범위다. 잘못된 시료 ID, 만료된 교정과 센서 단위 오류가 위험한 조건 선택으로 이어질 수 있다. 시료·레시피·장비·모델·교정 버전을 하나의 실행 승인에 묶고, 필수 연결이 끊기면 동작하지 않게 한다.
센서는 값뿐 아니라 자격과 건강상태를 보낸다
온도·압력·유량·질량·가스·문·배기와 로봇 위치 센서에는 정상 범위, 변화율, 샘플링 주기, 진단 신호와 교정 만료를 둔다. 하나의 센서가 정상이더라도 상호 물리법칙과 맞지 않으면 불확실 상태로 본다. 예를 들어 가열 명령 뒤 전력은 증가했는데 온도 응답이 없으면 센서 또는 히터 오류를 의심한다.
NIST 계량 추적성 정책은 추적성을 측정 결과가 문서화된 끊기지 않는 교정 사슬과 각 단계의 불확실성을 통해 기준에 연결되는 성질로 설명한다. ‘교정 완료’ 스티커 하나가 모든 실험값을 자동으로 추적 가능하게 만들지 않는다. 사용 범위·환경과 중간 확인이 맞아야 한다.
센서 이상은 결측값을 마지막 값으로 채워 계속 운전하지 않는다. 신호 정지, 시간 동기화 이탈, 값 고정·급변, 이중 센서 불일치를 구분하고 안전 영향에 따라 감속·보류·하드 정지로 나눈다. 작업 재개에는 센서 자격 회복과 영향받은 시료 판정이 모두 필요하다.
모델은 권고 범위와 불확실성을 함께 내보낸다
다음 실험 모델의 출력은 조성·조건만이 아니라 예측값, 불확실성, 훈련 범위와 선택 이유를 포함한다. 위험 경계 가까이에서는 허용 불확실성을 더 좁게 두고, 학습 데이터 밖 제안은 자동 실행하지 않는다. 목적함수에 성능만 넣지 말고 위험·폐기·비용과 장비 스트레스를 제약으로 둔다.
| 판단 구간 | 허용 지연을 정할 근거 | 지연 중 안전 상태 | 감사 신호 |
|---|---|---|---|
| 하드 인터록 | 위험이 커지기 전 물리 응답시간 | 에너지·유량 차단, 로봇 안전정지 | 독립 트립 원인·시각·센서 원값 |
| 소프트 한계 | 다음 명령 전 센서·교정·권한 확인시간 | 새 동작 보류, 현재 안전 상태 유지 | 검사 항목·버전·통과/거절 이유 |
| 모델 추론 | 실험 주기 안의 후보 계산시간 | 마지막 후보 재사용 금지, 사람 승인 대기 | 입력 데이터·모델 해시·불확실성 |
| 사람 승인 | 위험 등급별 응답·교대 인계시간 | 시간초과 시 실행 취소 | 승인자·근거·범위·만료 |
| 복구·롤백 | 오염·손상 평가와 안전 재자격 시간 | 시료 격리·장비 잠금 | 조치·검사·재개 승인·새 버전 |
NIST AI RMF Core는 역할·책임과 인간 감독, 지식 한계, 과학적 무결성·시험평가, 불확실성과 배치 전·운영 중 시험을 문서화하도록 제시한다. 자발적 범용 프레임워크이므로 화학·기계 안전 표준을 대체하지 않고 모델 위험 장부에 보완적으로 사용한다.
제어 계층은 허가를 받지 못하면 아무것도 하지 않는다
명령 경로는 사용자·에이전트–오케스트레이터–장비 제어–독립 안전계층으로 나눈다. 오케스트레이터가 ‘실행’을 요청해도 안전 PLC·인터록이 문, 배기, 압력과 비상정지 조건을 확인해 허가하지 않으면 에너지가 공급되지 않아야 한다. 소프트웨어 계정이나 관리자 권한으로 하드 인터록을 우회하지 않는다.
승인권은 위험과 변경 수준에 맞춘다. 사전 검증한 저위험 탐색공간은 캠페인 단위 승인, 경계 확장·새 물질·새 장비는 과학·안전 이중 승인, 특히 위험한 작업은 현장 절차를 따른다. 승인에는 조건·수량·기간·모델·장비 버전과 자동 만료를 붙인다.
재시도는 기본 동작이 아니다. 통신 응답 손실은 실제 명령 완료 여부를 확인하고, 시료가 바뀌었거나 과투입·오염·과압이 있으면 재시도하지 않는다. 재시도 가능한 오류도 횟수·누적 에너지·시간 상한을 두고 같은 오류가 반복되면 상위 승인을 요구한다.
하드웨어는 안전 상태와 복구 가능 상태를 구분한다
비상정지는 위험 에너지를 안전하게 줄이지만 실험을 온전하게 보존하지 못할 수 있다. 가열로, 압력계, 펌프, 로봇과 배기의 정지 순서를 위험분석으로 정하고, 정전·압축공기 상실 때 밸브·그리퍼가 어느 상태로 가는지 시험한다. 안전 상태 이후 시료·장비를 자동으로 정상이라 선언하지 않는다.
이동 로봇과 팔에는 속도·힘·구역·도어 상태와 사람 감지를 독립적으로 확인한다. 화학 위험이 있는 시료를 들고 있을 때 일반적인 정지 위치가 안전하지 않을 수 있으므로 용기 유지, 낮은 에너지 자세와 누출 격리 경로를 설계한다. 단, 상세 비상 동작은 시설 위험평가와 제조사 지침에 맞춘다.
하드웨어 변경은 안전 검증을 다시 연다. 그리퍼, 용기, 펌프, 배관, 센서·펌웨어나 장비 위치가 바뀌면 위험·공차·정지거리와 인터록 회귀시험을 갱신한다. 소모품의 호환·유통기한과 예비품도 자격 상태에 넣는다.
감사 로그는 사건의 앞뒤를 재구성해야 한다
로그에는 단순 경보 문자열이 아니라 동기화된 원시 센서, 명령·응답, 상태 전이, 시료·레시피·모델·코드·교정 버전, 권한·승인, 사람 개입과 파일 해시가 필요하다. 읽기·쓰기 권한과 보존기간을 정하고 운영 계정이 원본 기록을 임의 삭제하지 못하게 한다.
| 기록·제어 자원 | 최소 보장 | 과부하 시 우선순위 | 검증 방법 |
|---|---|---|---|
| 안전 제어 | 독립 전원·주기·통신과 결정적 응답 | 최우선 유지, AI·대시보드와 분리 | CPU·네트워크 과부하·전원상실 시험 |
| 센서·이벤트 로그 | 위험 분석이 정한 해상도·시간동기 | 원본 보존, 시각화 샘플링보다 우선 | 누락·순서 역전·저장공간 부족 주입 |
| 오케스트레이터 | 멱등 명령·상태 복구·안전 보류 | 새 작업 중단, 진행 작업 상태 확인 | 재시작·응답손실·중복요청 시험 |
| AI 추론 | 승인 모델·입력 완전성·불확실성 | 자원 부족 시 실행 보류 | 느린 추론·모델 오류·GPU 상실 시험 |
| 감사 저장 | 변조 방지·백업·복원·접근통제 | 로컬 안전 운전과 기록 연속성 보존 | 복원 연습·해시·권한 검토 |
컴퓨팅 장애가 물리 안전 계층의 자원을 잠식하지 않도록 컴퓨팅 자원을 분리한다. 대형 모델 추론이 GPU·네트워크를 점유해도 안전 제어와 핵심 센서 로그는 정해진 주기와 전원에서 동작해야 한다. 저장공간이 부족하면 오래된 원본을 조용히 덮지 않고 새 자율 캠페인을 보류한다.
오류주입과 롤백을 통과한 캠페인만 연다
검수는 정상 프로토콜을 반복하는 데서 끝나지 않는다. 교정 만료, 센서 고정값·불일치, 잘못된 시료, 모델 범위 밖 제안, 권한 만료, 응답 손실, 네트워크·전원·배기 상실과 저장공간 부족을 안전한 시험환경에서 주입한다. 예상한 계층이 먼저 차단하고 이유가 로그에 남는지 본다.
- 실험별 물질·에너지·사람 공존·시설·데이터 위험과 사전 승인 탐색공간을 문서화한다.
- 하드 인터록을 AI·오케스트레이터와 독립시키고 우회 권한·변경 절차를 통제한다.
- 센서 범위·변화율·진단·교정·시간동기와 불일치 시 안전 상태를 정의한다.
- 모델 출력에 불확실성·훈련 범위·선택 이유를 붙이고 범위 밖 자동 실행을 막는다.
- 재시도 가능 오류와 시료 격리·장비 잠금이 필요한 오류를 코드·승인 규칙으로 나눈다.
- 명령·센서·상태·시료·모델·승인·사람 개입을 변조 방지 시간선으로 연결한다.
- 오류주입, 비상정지, 전원 복구·백업 복원과 이전 버전 롤백을 정기적으로 연습한다.
- 변경 뒤에는 영향평가·회귀시험·재개 승인과 실패 시 롤백 기준을 갱신한다.
롤백은 소프트웨어만 이전 버전으로 돌리는 일이 아니다. 이미 처리된 시료를 격리하고 장비·환경을 검사하며, 구버전 레시피·모델과 호환되는 장비·교정 상태를 확인한다. 모든 조건이 다시 자격을 얻기 전에는 자동 재개하지 않는다. 이 체크리스트는 로봇 기능안전 PL·SIL의 안전기능 검증 원리를 실험실 AI 계층까지 확장해 읽는 출발점이다.
다른 실험실에 안전 규칙을 옮길 때 다시 검증할 것
한 실험실에서 검증한 안전 규칙을 다른 실험실에 그대로 복사할 수 있나요?
아니다. 물질·양·장비·용기·배기·방재·로봇 동선, 법규와 사람 역할이 다르다. 공통 구조와 로그 스키마는 재사용할 수 있어도 위험평가, 인터록 한계, 정지·복구 순서와 인수시험은 각 시설·프로토콜에서 다시 검증해야 한다.
자료 마지막 확인: 2026년 8월 26일