같은 모델의 텐서를 GPU 사이에 옮길 때 필요한 연결과, 여러 NVL72 랙의 학습 작업을 묶는 연결, 멀리 떨어진 클러스터 사이에 체크포인트와 데이터를 복제하는 연결은 무엇이 달라야 할까? 답은 단순 대역폭 순위가 아니다. 물리 거리, 동기 빈도, 허용 지연, 케이블·스위치 계층과 한 고장이 끊는 연산범위가 각각 다르다.
문제 범위는 컴퓨트 경계와 통신 패턴으로 정한다
Scale-up은 하나의 큰 가속기 시스템처럼 동작해야 하는 GPU 도메인 내부를 잇는다. Scale-out은 여러 서버·랙·NVL72 도메인을 클러스터로 묶는다. Scale-across는 데이터홀·건물·캠퍼스 또는 지역적으로 분리된 클러스터 사이를 잇는 표현으로 쓰인다. 업체마다 명칭 범위가 다를 수 있어 연결 종단과 거리를 문서에 명시한다.
NVIDIA NVL72 공식 네트워크 참조는 랙 내부 NVLink scale-up 네트워크, 컴퓨트 랙 사이의 scale-out 패브릭과 관리·스토리지 네트워크를 분리한다. 이는 특정 AI 팩토리 참조구성이지 모든 사업자의 용어를 법적 표준으로 고정하지 않는다.
통신 요구는 모델 병렬화가 만든다. 잦은 집단통신과 작은 동기 지연이 성능을 좌우하면 낮은 지연·높은 대역폭·낮은 홉 수가 중요하다. 체크포인트·데이터 이동과 비동기 복제는 더 긴 거리와 지연을 허용할 수 있지만 폭주·재전송·복구시간과 저장 계층을 함께 설계해야 한다.
전통적 방법은 패브릭을 역할별로 분리해 왔다
서버 내부·랙 내부는 짧은 구리·백플레인·전용 인터커넥트로 가장 촘촘한 통신을 처리하고, 랙 간에는 이더넷이나 InfiniBand 스위치 패브릭을 둔다. 관리와 스토리지는 별도 네트워크 또는 논리적으로 격리된 경로를 사용해 학습 트래픽 폭주가 운영 접근을 끊지 않게 한다.
scale-out 패브릭은 leaf/spine 같은 반복 계층과 다중경로로 수천 엔드포인트를 확장한다. 오버서브스크립션을 낮추면 동시 통신 성능은 좋아지지만 스위치·광모듈·섬유, 전력·열과 비용이 늘어난다. 포트 최고속도 합계가 실제 집단통신 처리량과 같지 않다.
장거리·캠퍼스 연결은 광섬유, 전송장비와 라우팅·암호화·운영도메인이 추가된다. 광속 지연과 장비 홉은 물리적으로 사라지지 않는다. 지역 간 연결을 랙 내부 동기 통신처럼 설계하기보다 데이터 배치·체크포인트와 작업 스케줄을 거리 제약에 맞춘다.
새 방법은 세 패브릭을 하나의 연산계획에서 다룬다
고밀도 AI 시스템은 scale-up 도메인을 랙 단위로 크게 만들고, 다수 도메인을 고속 scale-out으로 묶으며, 여러 AI 팩토리의 용량·데이터를 scale-across로 조정한다. 새로운 점은 링크 이름보다 스케줄러와 텔레메트리가 세 경계의 상태를 함께 보고 모델 배치·장애복구를 결정한다는 데 있다.
NVIDIA의 NVL72 참조구성은 한 랙의 72 GPU와 9개 NVLink 스위치 트레이를 구체화한다. 랙 내부 도메인이 커지면 랙 하나의 전력·냉각·스위치 고장이 잃게 하는 연산범위도 커진다. 성능 이득과 고장집중을 같이 계산해야 한다.
scale-across는 아직 문맥에 따라 캠퍼스 간 패브릭, 여러 클러스터의 연합운영, 장거리 데이터 이동을 가리킬 수 있다. 용어만 보고 NVLink와 동일한 프로토콜·지연을 가정하지 않는다. 종단, 거리, 링크 기술, 일관성·복제 모델과 장애복구 목표를 명시한다.
공유 부품은 케이블보다 운영기능이 더 많다
세 경계 모두 NIC·스위치·케이블·광모듈, 토폴로지·라우팅, 혼잡제어, 시간동기, 텔레메트리와 펌웨어가 필요하다. 차이는 각 부품이 감당할 거리·지연·포트수·고장범위다. 구리·광 선택은 속도 하나가 아니라 길이, 삽입손실, 전력·열, 교체성과 공급망으로 정한다.
관제는 포트 up/down을 넘어 오류율, 재전송, 혼잡·큐, 경로변경, 집단통신 처리량과 작업 영향을 연결해야 한다. 케이블·광모듈 온도와 스위치 전력도 시설 열예산에 들어간다. 모델 성능 저하가 네트워크인지 GPU·스토리지인지 동일 시간축으로 추적한다.
보안·운영 경계는 멀어질수록 커진다. 관리망 분리, 장비·API 계정, 구성 변경 승인, 암호화와 키관리, 공급사 원격지원 경로를 설계한다. 성능을 위해 운영망·테넌트 경계를 우회하면 장애가 캠퍼스 전체로 번질 수 있다.
실패 방식은 경계마다 다른 모양으로 보인다
scale-up 링크·스위치 실패는 한 GPU 도메인의 집단통신이나 가용 GPU 수를 직접 줄일 수 있다. scale-out의 링크·leaf·spine 실패는 일부 랙의 경로를 우회시키며 혼잡·tail latency를 키울 수 있다. scale-across의 광경로·전송·라우팅 장애는 데이터 복제 지연과 사이트 간 작업 이동을 막을 수 있다.
같은 이중화라도 효과는 다르다. 다중 링크가 같은 케이블 트레이·전원·스위치 ASIC·건물 진입점을 공유하면 공통고장에 취약하다. 논리적 경로다양성과 물리적 경로다양성을 별도로 도면화하고, 스위치·광모듈·섬유·전력·냉각 고장을 주입한다.
복구도 계층별로 다르다. 빠른 로컬 우회, 작업의 재구성·재시작, 체크포인트에서 다른 클러스터로 이동하는 시간은 서로 다르다. 링크 수렴시간만 측정하면 모델 복구시간을 알 수 없다. 데이터 일관성·스토리지와 스케줄러 동작까지 포함한 서비스 복구목표를 둔다.
선택 경계는 모델·거리·장애비용으로 닫는다
먼저 모델의 최대 GPU 도메인, 집단통신 패턴·메시지 크기와 허용 통신비율을 정한다. 다음으로 랙·데이터홀·캠퍼스·지역의 물리 거리와 케이블 경로, 전력·냉각·포트 공급을 매핑한다. 마지막으로 한 링크·스위치·랙·건물 실패 때 중단할 작업과 복구시간을 가격으로 환산한다.
용량계획에는 평균 링크 이용률만 넣지 않는다. 집단통신이 동시에 몰리는 구간, 체크포인트·스토리지 트래픽과 장애우회 때의 잔여 대역폭을 시간대별로 본다. scale-across는 장거리 지연·지터와 데이터 일관성 때문에 같은 포트속도여도 작업효율이 다를 수 있어, 실제 모델의 재시작·복제 정책까지 포함한다.
- scale-up·out·across의 각 종단, 최대거리와 허용지연을 프로젝트 용어집에 고정한다.
- 대표 모델의 병렬화·집단통신·체크포인트 패턴을 합성 벤치마크와 함께 측정한다.
- 포트속도·오버서브스크립션·홉 수·케이블/광 예산과 스위치 전력·열을 같은 BOM으로 계산한다.
- 관리·스토리지·학습 패브릭의 격리와 상호 의존, 구성·보안 책임을 다이어그램에 표시한다.
- 링크·스위치·케이블경로·전원·냉각·건물진입점의 단일·공통고장을 주입한다.
- 경로수렴뿐 아니라 작업 처리량·체크포인트·재시작과 데이터 복구시간을 인수한다.
- 모델·랙·펌웨어·광부품·토폴로지 변경 때 기준선을 다시 측정하고 용량계획을 갱신한다.
AI 데이터센터의 랙·네트워크 공식 참조는 출발점이지 사이트 답안지가 아니다. 2026년 8월 26일 확인 기준으로 세 용어는 유용한 경계 언어지만, 실제 선택은 워크로드와 물리 배치·고장비용을 함께 시험해 닫아야 한다.
Scale-across는 장거리에서 어디까지 확장 가능한가
Scale-across 네트워크가 느린 장거리에서도 scale-up처럼 동작하게 만들 수 있나요?
아니다. 장거리의 광속 지연, 전송·라우팅 홉과 장애도메인은 사라지지 않는다. 비동기 데이터 이동, 체크포인트·복제와 작업 스케줄링으로 거리 영향을 줄일 수 있지만 랙 내부의 잦은 동기 통신을 그대로 대체할 수는 없다.
자료 마지막 확인: 2026년 8월 26일