결함 1,000개 중 990개를 맞혔다는 숫자만으로 비전검사를 인수하면 안 된다. 드문 치명 결함을 놓친 10건과 정상품을 불량으로 잘못 분류한 10건은 생산·안전·고객에 미치는 비용이 다르다. 또한 실험실의 정돈된 영상이 아니라 실제 라인·교대·제품변형·조명·카메라 상태에서 같은 성능이 반복되는지를 독립 골든 세트와 운영 모니터링으로 확인해야 한다.
문제는 정확도가 아니라 어느 오류를 얼마까지 허용할지다
첫 문서는 결함 분류체계와 의사결정을 연결한다. 흠집·누락·치수·오염처럼 결함 종류, 심각도, 다음 공정에서 발견 가능한지, 고객 유출·재작업·폐기·라인정지 비용을 적는다. 모델의 양성·음성 정의도 품질 부서와 고정해야 ‘미검’과 ‘과검’이 뒤바뀌지 않는다.
표본 단위는 이미지가 아니라 독립적인 생산 사건이다. 같은 부품을 연속 촬영한 프레임을 여러 개의 성공으로 세면 표본수가 부풀고 조명·재료 변동을 과소평가한다. 부품·로트·교대·카메라·시간의 군집을 보존해 학습·튜닝·인수 세트 사이의 누출을 막는다.
골든 세트의 정답도 절대값이라고 가정하지 않는다. 결함 기준, 측정 도구, 판정자 자격과 불일치 해결 절차를 남기고, 애매하거나 측정 불확실성이 큰 표본은 별도 상태로 둔다. 모델과 사람 모두 보기 어려운 경계표본을 임의로 정상 또는 불량에 밀어 넣지 않는다.
NIST AI TEVV 프로그램은 AI 평가에서 맥락에 맞는 과제·데이터셋·측정법을 설계하고 기술의 한계와 측정 한계를 함께 파악해야 한다고 설명한다. NIST가 제조 비전의 합격 임계값을 정하는 것은 아니다. 현장 위험과 의사결정에 맞춘 지표·표본을 문서화해야 한다는 근거로 사용한다.
전통적 검사는 측정계와 표본추출을 먼저 고정한다
기존 사람검사나 규칙기반 비전의 기준선을 같은 제품과 시간창에서 측정한다. 사람 판정은 작업자·피로·속도에 따라 달라질 수 있고 규칙기반 검사는 조명과 위치 변화에 민감할 수 있다. 기준선의 미검·과검·판정 보류·재검시간을 결함종류와 교대별로 남겨 AI가 무엇을 개선해야 하는지 분명히 한다.
검사장비의 변화도 별도 관리한다. 렌즈, 초점, 노출, 조명 각도·광량, 트리거, 컨베이어 속도, 카메라 위치·펌웨어와 영상 전처리가 입력을 바꾼다. 카메라 교체 뒤 같은 모델 파일을 쓴다는 이유로 같은 측정계라고 보지 않는다.
골든 표본은 정상·대표 결함만 모으지 않는다. 작은 결함, 서로 닮은 결함, 반사·그림자, 오염, 포장·부품 변형, 허용공차 경계와 실제 발생빈도를 층화한다. 치명 결함은 자연 발생만 기다리기 어렵다면 자격 있는 품질 담당자가 만든 결함 또는 공정 모사를 별도 표식으로 포함하고 실제 발생품과 혼합하지 않는다.
합격 판단에는 점추정치뿐 아니라 표본수와 불확실성을 함께 쓴다. 드문 결함 표본이 몇 개뿐인데 100% 탐지라고 보고하지 않는다. 결함별 허용 미검 상한과 필요한 신뢰 수준을 먼저 정하고 통계 담당자가 표본설계를 검토한다. 표본이 부족하면 통과가 아니라 미확정으로 남긴다.
새 방법은 비용을 반영한 임계값과 독립 홀드아웃을 쓴다
모델 점수의 임계값은 전체 정확도가 가장 높은 지점이 아니라 오류 비용과 후속 검사를 반영해 정한다. 치명 결함은 미검 비용이 크므로 낮은 점수에서도 사람 재검으로 보낼 수 있고, 외관상 경미한 결함은 과검으로 인한 폐기·병목을 줄이도록 다른 기준을 둘 수 있다. 한 임계값을 모든 결함과 제품에 적용하지 않는다.
판정은 정상·불량 두 칸 외에 보류를 둘 수 있다. 모델 점수, 입력 품질 또는 분포 밖 신호가 불확실하면 사람검사나 독립 계측으로 보낸다. 보류율이 너무 높으면 자동검사의 처리량 이득이 사라지므로 미검·과검과 함께 운영지표로 본다.
인수 세트는 모델 개발팀이 반복해서 보며 임계값을 조정하지 못하게 봉인한다. 최종 선택 뒤 한 번 평가하고, 실패해 모델을 수정하면 새 버전과 새 인수 절차를 사용한다. NIST AITE 공식 설명은 봉인된 시험환경과 비공개 데이터가 학습·시험 오염을 줄여 객관적인 평가를 지원한다고 설명한다. AITE가 제조검사용 인증서비스라는 뜻은 아니지만 독립 홀드아웃의 이유를 잘 보여 준다.
인수 보고서는 결함×제품×라인×교대별 혼동행렬, 미검·과검·보류, 신뢰구간, 처리지연과 사람 재검을 제시한다. 전체 평균은 보조값으로만 두고 가장 위험하거나 표본이 부족한 셀을 숨기지 않는다.
AI와 규칙기반 검사 모두 측정계·정답·변경통제가 필요하다
어떤 알고리즘이든 입력 영상이 품질요구를 만족하는지 먼저 확인한다. 밝기·대비·초점·가림·부품 위치와 트리거 누락을 감시하고, 입력이 나쁘면 모델 결과를 생산 판정으로 사용하지 않는다. 잘못된 영상에서 높은 신뢰도를 내는 경우를 고장주입 시험에 넣는다.
정답 변경은 모델 변경만큼 중요하다. 고객 기준, 도면 공차나 결함 분류가 바뀌면 기존 골든 세트의 라벨과 합격 임계값이 더 이상 맞지 않을 수 있다. 라벨 지침·판정자·측정도구·불일치 기록을 버전으로 묶어 과거 결과를 재현한다.
배포 단위에는 모델 가중치뿐 아니라 전처리, 클래스 사전, 임계값, 카메라·조명 설정, 실행엔진과 하드웨어를 포함한다. 한 요소가 바뀌면 영향받는 결함·라인을 판단하고 고정 회귀세트와 대표 현장표본을 재시험한다.
생산 명령과 검사는 분리해 확인한다. 모델이 불량 신호를 보냈는지, PLC가 실제 분기장치를 동작시켰는지, 부품이 물리적으로 격리됐는지 각각 기록한다. 소프트웨어 판정 성공을 실제 품질 흐름의 성공으로 오인하지 않는다.
고장 양상은 규칙의 취약점과 학습모델의 드리프트에서 달라진다
규칙기반 검사는 정의한 특징과 조명 범위에서는 설명이 쉽지만 제품·배경 변화에 규칙을 계속 추가하며 상호작용이 커질 수 있다. 학습모델은 복잡한 변동을 흡수할 수 있지만 학습하지 않은 재료·결함·카메라 변화에서 자신 있게 틀릴 수 있고 원인을 바로 알기 어려울 수 있다.
드리프트 감시는 모델 점수 분포 하나로 끝내지 않는다. 입력 밝기·초점·색, 제품·로트·공급사·레시피, 보류율·미검·과검, 사람 재판정과 후속공정 불량을 함께 본다. 실제 정답이 늦게 나오는 결함은 독립 샘플링 검사와 고객·재작업 피드백을 사건 ID로 다시 연결한다.
NIST AI 800-4 배포 AI 모니터링 보고서는 사전평가만으로 실제 환경의 동적 변화를 모두 포착할 수 없으며 배포 뒤 기능·운영·영향 모니터링이 필요하다고 설명한다. 2026년 3월 공개된 보고서는 공장별 드리프트 임계값을 제시하지 않으며 모니터링 방법론이 아직 흩어져 있다는 한계도 밝힌다.
경보가 울리면 자동 재학습부터 하지 않는다. 조명·렌즈·부품·라벨·공정 중 무엇이 바뀌었는지 확인하고, 승인된 이전 모델·임계값으로 되돌릴지, 해당 제품만 사람 전수검사로 보낼지 결정한다. 원인이 제거되고 고정·신규 경계세트를 통과하기 전 자동판정을 재개하지 않는다.
선택 경계는 합격·조건부·롤백 상태로 명확히 둔다
합격은 모든 결함에서 같은 수치를 요구한다는 뜻이 아니다. 위험도가 높은 결함은 엄격한 미검 상한과 독립 확인을, 비용이 낮은 외관 결함은 과검·처리량의 균형을 둘 수 있다. 기준은 시험을 보기 전에 품질·생산·안전 책임자가 승인한다.
- 결함종류·심각도·후속검출 가능성과 미검·과검 비용을 연결했는가?
- 이미지 프레임이 아니라 독립 부품·로트·교대 단위로 표본을 설계했는가?
- 학습·튜닝·인수 세트의 누출을 막고 골든 라벨의 불확실성을 보존했는가?
- 결함×제품×라인×교대별 혼동행렬·신뢰구간·보류율을 보고하는가?
- 카메라·조명·전처리·임계값·모델·라벨 지침을 한 버전으로 묶었는가?
- 입력 품질·점수·사람 재검·후속공정 불량을 함께 모니터링하는가?
- 드리프트 경보 뒤 원인확인·사람 전수검사·이전 버전 롤백과 재검증이 시험됐는가?
- 표본이 부족하거나 위험 결함 상한을 넘으면 미확정·반려로 남기는가?
로봇 학습 데이터 품질 점검은 라벨·중복·분할 오염을 확인하는 배경이 되고, 로봇 비전 데이터 증강과 행동 라벨은 합성·증강 표본과 실제 표본의 경계를 점검할 때 참고할 수 있다. 비전검사 최종 합격은 목표 라인의 독립 실물표본으로 내린다.
조건부 합격에는 허용 제품·라인·교대, 사람 재검 비율, 금지 결함과 종료 날짜를 적는다. 전체 합격처럼 운영범위를 넓히지 않고 조건이 바뀌면 자동으로 보류상태로 돌아간다.
AI 비전검사 표본수와 사람 전환 기준은 어떻게 정하나
AI 비전검사 표본수를 정하려면 어떤 입력이 먼저 필요한가요?
결함별 발생률 추정, 미검·과검 허용상한, 요구 신뢰수준, 제품·라인·교대 군집, 동일 부품 반복촬영 여부와 골든 라벨 불확실성이 필요하다. 전체 이미지 수만으로 정하지 말고 통계 담당자가 위험 결함별 독립 표본을 설계한다.
어떤 드리프트에서 즉시 사람 전수검사로 전환해야 하나요?
치명 결함의 미검 상한 초과, 카메라·조명·전처리의 승인범위 이탈, 입력 품질 감시 실패, 라벨 기준 변경, 모델·임계값 버전 불명 또는 물리 분기 확인 실패처럼 생산판정을 신뢰할 근거가 사라진 경우다. 원인과 회귀시험이 닫히기 전 자동판정을 재개하지 않는다.
자료 마지막 확인: 2026년 8월 26일