카메라 20대에 모델 한 개가 초당 100프레임을 처리한다는 계산만으로 Edge AI 노드를 정하면 피크 순간 대기열과 복사·전처리·후처리가 빠진다. 모든 카메라가 같은 트리거에 영상을 보내거나 고해상도 재검 모델이 동시에 실행되면 평균 GPU 사용률이 낮아도 판정기한을 넘을 수 있다.
용량 산정은 정상 상태에서 가장 싼 GPU 수를 찾는 일이 아니다. 한 노드가 고장 나거나 모델을 업데이트하는 동안 남은 노드가 안전하게 감당할 부하, 네트워크 단절 때 저장할 원본과 결과, 품질을 지키며 낮출 프레임·해상도·모델, 사람 우회검사와 완전 복구까지 함께 설계해야 한다.
업무 문제는 프레임 수가 아니라 판정기한을 지키는 생산 사건이다
먼저 카메라별 트리거, 해상도·색심도·압축, 목표 프레임률, 검사할 제품·결함, 모델 체인과 판정 마감시각을 적는다. 연속 스트림에서 모든 프레임을 처리하는지, 제품당 몇 장만 필요한지, 결과가 분기장치에 도착해야 하는 최대 지연이 얼마인지 구분한다.
부하 원장은 정상 평균, 동시피크, 제품 전환, 재검·고해상도 경로, 모델 예열, 데이터 저장·업로드와 운영 대시보드를 포함한다. 카메라 위상과 트리거 상관을 보존한 시간순 로그를 사용하고 각 요청의 입력 크기·모델·우선순위·마감을 표시한다.
지연예산은 센서 노출·전송, 디코딩·전처리, CPU–GPU 복사, 대기열, 추론, 후처리·규칙, 결과 전송과 PLC 실제 확인으로 나눈다. 평균이 아니라 꼬리 지연과 마감 위반을 보고, 낮은 우선순위 저장·학습 작업이 생산 추론을 막지 않도록 자원·대기열을 분리한다.
NVIDIA Triton Model Analyzer 공식 문서는 배치·모델 인스턴스 구성별 GPU 메모리와 컴퓨트 사용을 측정해 여러 모델 배치를 비교하는 도구를 설명한다. Triton을 사용한다는 사실이 공장 용량을 자동 보증하지 않는다. 목표 하드웨어·모델·실제 입력과 동시성으로 측정해야 한다.
기준 비용은 현재 검사 흐름과 데이터 이동을 시간축으로 잰다
현재 사람·규칙기반·중앙서버 검사의 주기시간, 대기, 놓친 검사, 재검·폐기, 네트워크 사용과 장애 우회를 측정한다. Edge AI가 줄이려는 지연과 데이터전송이 무엇인지 분명히 하지 않으면 노드를 추가해도 사업효과를 비교할 수 없다.
| 구간 | 입력·출력 | 용량 계측 | 마감·우회 |
|---|---|---|---|
| 카메라→엣지 | 원본/압축 프레임·트리거 | 비트율·버스트·손실 | 로컬 버퍼·재촬영 |
| 디코드·전처리 | 픽셀→모델 텐서 | CPU/GPU·메모리복사·지연 | 간소화·우선순위 |
| 추론 대기열 | 모델·배치·동시요청 | 큐시간·메모리·처리량 | 마감 기반 거부·경량모델 |
| 후처리·판정 | 점수→결함·위치·행동 | CPU·규칙·꼬리지연 | 보류·사람 재검 |
| 결과→PLC/MES | 판정·제품ID·시각 | 전송·확인·누락 | 안전 분기·라인 감속 |
| 저장·상향동기 | 원본·특징·로그 | 쓰기속도·보존·백로그 | 순환버퍼·지연 업로드 |
네트워크는 평균 Mbps가 아니라 카메라 동시버스트, 패킷손실·재전송과 다른 OT 트래픽의 공존을 시험한다. NIST 공장 자동화용 신뢰성 높은 무선 연구는 산업 무선에서 신뢰성·지연·확장성과 간섭·손실을 측정해야 하는 과제를 설명한다. 특정 무선기술이나 용량값을 보증하는 자료는 아니다.
저장은 정상 보존기간뿐 아니라 상향망 단절 동안 쌓일 최악 데이터량으로 계산한다. 원본·이벤트 영상·특징·판정·로그의 우선순위를 정하고 순환버퍼가 오래된 중요 사고를 덮어쓰지 않게 잠금·반출 정책을 둔다.
파일럿 비용은 실제 모델 구성의 부하곡선과 장애 여유를 만든다
모델별 한 요청 지연을 더해 GPU 수를 계산하지 않는다. 배치·동시성·인스턴스, 해상도, 전처리 위치와 GPU 메모리 경쟁에 따라 처리량과 지연이 비선형으로 바뀐다. 목표 GPU·드라이버·실행엔진·전력모드·온도에서 실제 입력을 시간순으로 재생한다.
NVIDIA Triton Performance Analyzer 공식 문서는 요청률·동시성·사용자 정의 간격 부하와 시간·요청수 창으로 처리량·지연을 측정하는 기능을 설명한다. 도구가 자동으로 생산 트리거 분포를 만들어 주는 것은 아니다. 실제 요청 간격과 출력정답 검증을 입력해야 한다.
메모리는 모델 가중치뿐 아니라 실행 워크스페이스, 입력·출력 버퍼, 디코더, 여러 인스턴스, 동시 배치와 캐시를 포함한다. 최고 사용량과 단편화, 모델 교체 중 구·신 버전 동시상주를 시험한다. 여유 메모리를 평균값이 아니라 업데이트·장애모드에 남긴다.
CPU·RAM·PCIe·스토리지와 네트워크도 병목이 될 수 있다. GPU 사용률이 낮은데 큐가 늘면 전처리·복사·후처리 또는 입력 전달을 추적한다. 구간별 시각과 대기열 길이를 남겨 GPU를 추가하기 전에 실제 병목을 찾는다.
열·전력은 짧은 벤치마크가 아니라 교대 길이의 지속 부하로 본다. 온도 상승과 클록 저하, 전원 제한, 팬·필터 오염과 랙 환경에서 꼬리 지연이 어떻게 변하는지 측정한다. 실험실 최대 처리량을 공장 지속용량으로 쓰지 않는다.
중단과 사람개입은 폴백 모드별 품질·처리량을 함께 계산한다
장애모드는 카메라, 한 모델, GPU, 노드, 스위치·상향망, 저장장치, 시간동기, 모델 저장소와 업데이트 서비스로 나눈다. 각 고장에 계속 검사, 경량모델, 프레임·해상도 축소, 라인 감속, 보류·사람 전수검사 또는 안전정지 중 하나를 정한다.
N+1은 노드 한 대를 더 사는 것이 아니라 가장 큰 승인 장애 뒤 남은 집합이 피크 부하와 지연·품질을 통과하는 상태다. 장애 감지, 요청 재배치, 모델 예열, 로컬 캐시와 상태 복구 시간을 포함하고, 이미 고부하인 노드로 순간 이동하며 생기는 큐 폭주를 시험한다.
네트워크 단절 중 로컬 판정이 가능해도 레시피·모델·시간·제품 맥락이 최신인지 확인한다. 캐시의 유효기간이 지나면 오래된 모델로 조용히 계속하지 않고 보류·우회한다. 복구 뒤 버퍼를 상향 동기화할 때 생산 추론의 자원을 잠식하지 않도록 속도와 우선순위를 제한한다.
사람 우회검사는 처리 가능량·숙련·표본·대기장소와 품질을 실제 훈련한다. ‘사람이 보면 된다’는 문장만 두지 않고 어느 결함·제품을 몇 분 안에 검사하며 누가 라인을 감속·정지·재개하는지 정한다. 경량모델의 품질은 정상 모델과 별도 인수한다.
효과 임계값은 정상·고장 모두의 마감·품질·복구가 통과할 때다
정상 모드는 제품·카메라·모델별 마감 위반, 처리량, GPU·CPU·메모리·네트워크·저장 최고값과 꼬리지연을 본다. 품질지표는 모델 자체 평가와 실제 분기·재검 결과를 연결한다. 빠른 판정이 잘못된 제품에 연결되면 성능 통과가 아니다.
장애모드는 선언한 N+1, 네트워크 단절·업데이트·저장백로그에서 동일 지표와 폴백 품질·사람부하를 측정한다. N+1 때 정상과 같은 처리량을 요구할지, 허용 감속을 둘지 사전에 정한다. 장애 시간을 성능 측정에서 제외하지 않는다.
| 예외 | 자동 상태 | 사람 책임 | 재개 증거 |
|---|---|---|---|
| 카메라 입력 품질 저하 | 해당 스트림 보류 | 품질·설비 확인 | 고정 영상·실물 회귀 |
| GPU/노드 고장 | 재배치·감속·경량모드 | OT/엣지 운영 | 피크 부하·지연 통과 |
| 상향망 단절 | 로컬 캐시·버퍼 | 네트워크+생산 | 계보·동기·백로그 해소 |
| 모델 업데이트 실패 | 이전 검증버전 유지 | 모델+품질 | 고정·신규 표본 통과 |
| 시간동기·제품ID 상실 | 판정 연결 중단 | 제어·MES | 사건 정합성 확인 |
| 폴백 인력 초과 | 라인 감속·안전정지 | 교대 관리자 | 검사대기·품질 정상화 |
효과는 중앙추론 대비 줄인 전송·지연, 줄어든 불량·재검과 장애 중 유지한 생산에서 노드·통합·전력·냉각·정비·모델 운영비를 뺀다. 품질 위험을 낮은 인프라 비용이 상쇄한다고 계산하지 않는다.
결정 달력은 부하·업데이트·고장·용량추세를 반복 검토한다
출고 전 정상·피크·지속열·N+1·네트워크 단절·업데이트 롤백을 통과한다. 운영 중에는 일별 마감·큐·오류, 주별 자원·버퍼·폴백, 모델·카메라·제품 변경 때 회귀와 분기별 실제 성장률·장애복구를 검토한다. 기준을 넘기기 전에 증설 리드타임을 반영한다.
- 카메라별 실제 트리거·해상도·프레임·모델·판정마감과 동시피크를 수집했는가?
- 노출부터 PLC 실제 확인까지 지연예산과 꼬리·큐시간을 분해했는가?
- 실제 입력·배치·동시성에서 GPU·메모리·CPU·네트워크·저장을 측정했는가?
- 교대 길이의 지속열·전력·스토리지 백로그와 업데이트 동시상주를 시험했는가?
- 노드 한 대 고장 뒤 남은 용량이 승인 피크·지연·품질을 통과하는가?
- 단절 중 로컬버퍼·모델·레시피 유효기간과 복구 동기화를 검증했는가?
- 경량모델·감속·사람 우회검사의 품질·용량·재개 책임이 정해졌는가?
- 제품·카메라·모델·드라이버 변경과 용량추세의 재검증 달력이 있는가?
로봇 엣지 컴퓨팅 CPU·GPU·NPU는 가속기 역할을, 로봇 엣지 AI는 현장 추론의 지연·연결 경계를 이해하는 데 도움이 된다. 실제 용량은 목표 카메라·모델과 현장 열·네트워크 조건에서 다시 측정한다.
증설 기준은 평균 GPU 사용률 하나가 아니다. 피크 마감 여유, N+1의 최대 큐, 업데이트 창의 메모리, 버퍼 보존시간과 폴백 인력 중 가장 먼저 위험 임계값에 닿는 자원을 기준으로 결정한다.
공장 Edge AI GPU는 언제 증설해야 하나
Edge AI 용량 파일럿은 얼마나 오래 해야 하나요?
최소한 대표 제품·교대·동시피크와 교대 길이의 지속열을 포함하고, 노드 고장·네트워크 단절·모델 업데이트·복구를 의도적으로 실행할 만큼 길어야 한다. 날짜 수보다 운영조건과 고장 시나리오 커버리지가 기준이다.
GPU를 추가해야 할 가장 이른 신호는 무엇인가요?
평균 사용률보다 피크 꼬리지연·큐와 N+1 장애모드의 마감 여유가 승인 임계값에 가까워지는지 본다. 업데이트 동시상주 메모리, 지속열에 따른 성능저하, 버퍼 백로그와 폴백 인력도 함께 보고 증설 리드타임 전에 결정한다.
자료 마지막 확인: 2026년 8월 26일