학습 작업이 72개 GPU에 배치되면 데이터는 컴퓨트 트레이의 GPU와 CPU 메모리, 랙 내부 NVLink 스위치 패브릭을 오가고, 동시에 전력셸프·버스바와 냉각 매니폴드가 같은 연산의 전기·열 흐름을 감당한다. 관리망은 이 세 흐름의 상태를 모아야 한다. ‘72 GPU’라는 논리 도메인은 랙 안의 전력·유체·케이블 인터페이스가 모두 맞을 때만 실제 시스템이 된다.
해부 범위는 공식 참조구성과 실제 납품 BOM 사이다
NVIDIA의 GB300 NVL72 공식 구성 문서는 한 랙에 18개 컴퓨트 트레이, 9개 NVLink 스위치 트레이와 72개 Blackwell Ultra GPU, 36개 Grace CPU를 제시한다. 전력 측면에서는 8개의 33kW 전력셸프와 최대 142kW, 냉각 측면에서는 랙 단위 액체냉각 구성을 설명한다.
이 숫자는 특정 공식 참조 아키텍처의 시스템 경계를 제공한다. 실제 납품 랙은 OEM, 지역 전원, 케이블·매니폴드와 관리옵션에 따라 BOM과 서비스 경계가 달라질 수 있다. 주문서·rack elevation·명판과 펌웨어를 공식 참조와 대조하고, 최대값을 평균 실측이나 시설 총입력으로 바꾸지 않는다.
랙 밖에는 scale-out 네트워크 스위치, 관리망, 전력랙·버스웨이, CDU와 시설수가 이어진다. 논리적 NVLink 도메인을 한 랙이라고 표현할 때도 외부 네트워크·냉각·전력 의존성을 생략하지 않는다. 장애영역은 랙 경계와 정확히 같지 않을 수 있다.
센서 인터페이스는 연산과 시설의 시간을 맞춘다
GPU·CPU·NVLink 스위치의 온도·전력·오류, 전력셸프·분기 전류와 전압, 냉각수 공급·환수 온도·유량·압력과 누수 신호를 같은 사건시계로 모은다. 워크로드 단계와 전력·유량 응답의 선후관계를 보려면 관리망, BMS·EPMS와 CDU의 시각 동기가 필요하다.
단일 평균값은 경계 실패를 가린다. 트레이·전력모듈·매니폴드 분기별 편차와 최대·최소를 함께 보며, 센서 결측·보정·샘플링 주기를 기록한다. 높은 GPU 온도가 유량 부족인지, 특정 트레이 전력 편향인지, 센서 오류인지 사건 전후 원시 시계열로 구분한다.
센서 지연과 제어 지연은 같은 숫자가 아니다. 보호·전력·유체·운영 분석의 시간척도를 각각 고정하고, 집계 데이터가 빠른 안전판단을 대신하지 않게 한다.
모델 인터페이스는 72 GPU 도메인의 통신 요구를 만든다
모델 병렬화 방식은 텐서·파이프라인·데이터 통신의 크기와 동기 빈도를 바꾼다. NVIDIA의 공식 네트워크 논리구조에서 랙 내부 NVLink 패브릭은 GPU 간 높은 대역폭·낮은 지연 통신을 담당하고, 랙 밖 scale-out 네트워크는 여러 NVL72 도메인과 스토리지·서비스를 잇는다. 두 패브릭의 이름과 역할을 섞지 않는다.
| 신호 경로 | 필요 시간척도 | 늦으면 생기는 문제 | 검증 방법 |
|---|---|---|---|
| 칩·트레이 로컬 보호 | 하드웨어가 요구하는 즉각 응답 | 소자·커넥터 열 또는 전력 한계 초과 | 제조사 보호시험과 이벤트로그 |
| 전력셸프·버스 제어 | 급변부하를 안정화하는 짧은 제어구간 | 버스전압 흔들림·모듈 불균형 | 단계·급변부하 파형 시험 |
| CDU·펌프·밸브 | 유체·열 관성에 맞춘 초~분 단위 | 공급수 온도·압력 편차 확대 | 열부하 상승·고장주입 시험 |
| BMS/DCIM·운영 대응 | 경보 분류와 사람 개입 시간 | 원인 오판·반복 재시작 | 시간동기·런북·복구훈련 |
| 용량·효율 분석 | 작업·시간대별 장기 추세 | 과설계·열화·예비품 부족 | 계량 보정과 주기적 기준선 비교 |
모델이 72 GPU를 사용한다고 모든 링크가 항상 최대 트래픽을 내는 것은 아니다. 계산·통신 겹치기, 메시지 크기, 집단통신 패턴과 프레임워크 설정에 따라 병목이 달라진다. 성능검증은 합성 대역폭뿐 아니라 대표 모델의 처리량, tail latency와 재시작시간을 측정한다.
논리 토폴로지가 물리 토폴로지와 일치하는지도 확인한다. 케이블·포트 매핑, 스위치 트레이와 컴퓨트 트레이의 위치, 펌웨어·드라이버 호환이 틀리면 링크가 올라와도 성능이 불균형할 수 있다. 배포도구의 인벤토리를 랙 시리얼·포트와 readback한다.
제어 인터페이스는 전력·열 상한을 작업에 전달한다
스케줄러와 플랫폼은 사용 가능한 GPU만 보는 것이 아니라 랙 전력상한, 냉각상태, 링크 건강도와 유지보수 구역을 알아야 한다. 전력셸프나 냉각이 제한되면 새 작업 배치를 막고 기존 작업을 단계적으로 감축·체크포인트하며, 보호장치를 소프트웨어로 우회하지 않는다.
전력 캡은 빠른 보호와 다른 계층이다. 하드웨어 로컬 보호는 안전을 지키고, 랙 제어는 모듈 균형·전력예산을 관리하며, 클러스터 스케줄러는 작업 우선순위와 성능을 조정한다. 여러 제어기가 같은 신호에 동시에 과도하게 반응하지 않도록 권한·대역·복귀 조건을 고정한다.
냉각 제어도 GPU 온도 하나만 따라가면 늦을 수 있다. 공급수 온도·유량·압력과 트레이 전력의 선행신호를 사용하되, 센서 오류나 통신상실 때 안전한 기본값으로 이동한다. 자동 복구 횟수와 사람 승인 기준을 런북에 넣는다.
하드웨어 인터페이스는 U 공간보다 경계조건이 중요하다
18개 컴퓨트 트레이와 9개 NVLink 스위치 트레이가 만드는 랙은 무게·전력·유량과 서비스 동선을 동시에 요구한다. 랙 반입 경로, 바닥하중·고정, 상하 케이블·배관, 전력셸프와 매니폴드 접근, 누수 격리와 트레이 교체공간을 평면·입면에서 검증한다.
전력은 상위 분기부터 전력셸프·버스바·트레이로 내려간다. 최대 142kW라는 공식 상한을 기준으로 회로·보호·열을 검증하되 실제 BOM·정책의 최대·평균·급변값을 따로 측정한다. 정상뿐 아니라 한 모듈 정지와 정비 중에도 허용 가능한 성능과 온도를 확인한다.
냉각은 시설수와 기술냉각수가 CDU에서 열교환하는 구성일 수 있으며 제품·사이트마다 공급수 조건과 책임경계가 다르다. 수온·유량·수질·압력·여과, 재질 호환과 응결·누수 조건을 제조사 자료로 고정한다. ‘액체냉각 랙’이라는 이름만으로 CDU·시설측 공사가 포함됐다고 가정하지 않는다.
관제 인터페이스는 전력·냉각·네트워크 예산을 한 사건으로 묶는다
관리망은 BMC·스위치·전력셸프·CDU와 시설 시스템의 데이터를 수집한다. 역할 기반 접근, 펌웨어·설정 변경 기록, 시계동기, 로그 보존과 내보내기를 인수한다. 운영 API가 있다고 자동으로 DCIM·스케줄러와 의미가 맞는 것은 아니다. 단위·센서 ID·경보 심각도와 결측 처리를 매핑한다.
사이버 장애와 물리 장애도 구분한다. 관제망이 끊겨도 로컬 전력·열 보호는 작동해야 하고, 원격 명령이 비상정지·인터록을 무효화해서는 안 된다. 관리망 복구 뒤 지연된 명령이 실행되지 않도록 상태·명령 시퀀스를 검증한다.
| 예산 | 공식 기준 | 현장 값 | 초과 시 조치 |
|---|---|---|---|
| 컴퓨트 구성 | 18 컴퓨트 트레이·72 GPU·36 CPU | 주문 BOM·활성 트레이 | 인벤토리 차이 격리·구성 수정 |
| NVLink 구성 | 9 스위치 트레이의 랙 패브릭 | 포트·케이블·링크 건강도 | 불균형 링크·펌웨어 원인 분석 |
| 전력 | 8×33kW 전력셸프·최대 142kW 참조 | 분기·모듈·랙 실측 시계열 | 작업 제한·전력/보호 점검 |
| 냉각 | 랙 단위 액체냉각 참조 | 공급/환수 온도·유량·압력 | 부하 감축·CDU/필터/밸브 점검 |
| 시설 | 공식 참조의 인터페이스 요구 | 변압기·UPS·CDU·열방출 유효용량 | 증설 보류·구역 재배치·재인수 |
통합시험은 한 랙의 성능과 장애경계를 함께 증명한다
시험은 설치검사, 전원·유체 플러시와 누수, 관리 인벤토리, 링크·집단통신, 단계 전력·열부하, 보호·경보와 복구 순서로 진행한다. 정상 최대성능만 측정하지 않고 전력모듈·펌프·링크·센서 하나를 잃었을 때 영향과 안전정지를 확인한다.
- 실제 rack elevation·BOM·시리얼·펌웨어와 공식 참조구성의 차이를 승인한다.
- 전력셸프·분기·버스, CDU·매니폴드와 트레이 센서의 단위·시계·경보를 교정한다.
- 포트·케이블과 NVLink·scale-out 인벤토리를 물리 라벨과 배포도구에서 양방향 readback한다.
- 대표 모델과 합성시험으로 처리량·집단통신·전력·온도·유량을 같은 시간축에서 측정한다.
- 전력모듈·링크·펌프·센서·관리망 고장을 주입해 격리·감축·체크포인트·복구를 검증한다.
- 정비 중 유효용량, 예비품·교체도구·서비스공간과 작업자 안전절차를 모의한다.
- 인수 기준을 통과한 구성만 운영 템플릿으로 봉인하고 변경 뒤 영향시험을 반복한다.
일반화 한계도 남긴다. 한 OEM·펌웨어·수온에서 통과한 결과를 다른 NVL72 공급사나 시설에 자동 전용하지 않는다. 2026년 8월 26일 확인 기준의 NVL72 AI Factory 공식 참조 아키텍처는 기준선이며, 최종 시설 요구값은 구매 문서와 현장 readback이 결정한다.
GB300 NVL72 공식 구성을 어디까지 적용할 수 있나
GB300 NVL72 공식 랙 구성을 모든 공급사 제품에 그대로 적용할 수 있나요?
아니다. 18개 컴퓨트 트레이·9개 NVLink 스위치 트레이·72 GPU와 최대 142kW는 공식 참조선이지만 OEM별 전원·케이블·냉각·관리 BOM과 현장 인터페이스가 달라질 수 있다. 주문 구성, 제조사 문서와 FAT·SAT로 최종값을 확정해야 한다.
자료 마지막 확인: 2026년 8월 26일