하나의 물리 머신에서 8x H100 클러스터 대여.
GPU Rent Hub는 전용 8× H100 SXM 노드, 즉 8장의 카드가 모두 NVSwitch 패브릭에 연결된 단일 테넌트 HGX 서버를 월 $12,170 또는 주 $3,420에 대여하며, Bitcoin, Ethereum, USDT, USDC, Monero, Solana 또는 Litecoin으로 본인 확인 없이 결제할 수 있습니다.
9가지 노드 구성, 월 $2,810의 8× RTX 4090 박스부터 월 $28,010의 8× B200 HGX 베이스보드까지.
멀티 GPU 노드란 무엇이며, 클러스터와 어떻게 다른가?
클러스터라는 단어는 서로 다른 두 제품에 쓰입니다. 그중 하나만 카드가 같은 패브릭에 연결됩니다.
우리가 따르는 정의
멀티 GPU 노드는 한 명의 테넌트에게 대여되는 물리 서버 한 대로, 모든 GPU가 단일 베이스보드에 있고 카드 사이에 직접 패브릭이 연결됩니다. GPU Rent Hub의 8× H100 SXM 노드는 NVIDIA HGX H100 베이스보드로, 카드 8장, HBM3 640 GB, 각 카드가 다른 모든 카드에 900 GB/s로 연결되는 NVSwitch, vCPU 160개, 시스템 RAM 2 TB, 로컬 NVMe 16 TB, 100G 포트 2개를 갖추고 베어메탈에서 root 권한을 제공합니다. Ethernet으로 연결된 8개의 인스턴스가 아니며, 다른 누군가와 공유하는 머신의 일부도 아닙니다.
구별이 중요한 이유
가상 클러스터는 각각 하나의 작업을 실행할 수 있는 카드 8장을 줍니다. 실제 노드는 하나의 작업을 함께 실행할 수 있는 카드 8장을 주며, 모델을 샤딩하는 순간 그 차이가 드러납니다. 샤딩은 모든 레이어에서 카드들이 서로 통신해야 한다는 뜻이기 때문입니다.
노드의 모든 것이 여러분의 것입니다. CPU, RAM, NVMe, 두 업링크, 패브릭까지요. 운영체제 안에는 저희 것이 아무것도 실행되지 않으며, 재고가 있는 노드는 다른 인스턴스와 동일하게 배포됩니다.
8x H100 클러스터 대여 월 비용은 얼마인가?
8장 HGX H100 노드는 월 $12,170, GPU 시간당 $2.11입니다. 나머지 라인업은 구매 목적별 작업에 맞춰 정리했습니다.
| 작업 부하 | 노드 | 총 VRAM | 주간 | 월간 | GPU 시간당 |
|---|---|---|---|---|---|
| 70B 모델의 텐서 병렬 서빙, 그리고 단일 카드로는 감당할 수 없는 학습여기서 시작 | 8× H100 SXMHGX H100 · NVSwitch | 640 GB | $3,420 | $12,170/mo | $2.11 |
| Adam을 사용한 전체 파인튜닝, 또는 FP8 405B 모델둘 다 소화하는 노드 중 가장 빠른 패브릭 | 8× B200HGX B200 · NVSwitch 1.8 TB/s | 1,440 GB | $7,850 | $28,010/mo | $4.86 |
| KV 캐시가 지배적인 롱컨텍스트 추론카드당 141 GB, 120B는 샤딩 불필요 | 8× H200 SXMHGX H200 · NVSwitch | 1,128 GB | $4,610 | $16,490/mo | $2.86 |
| 달러당 HBM이 가장 많은, ROCm 네이티브 스택GB-월당 $7.45 | 8× MI300XInfinity Fabric · 896 GB/s | 1,536 GB | $3,240 | $11,450/mo | $1.99 |
| 예산에 맞춘 수 주짜리 학습 실행NVLink 세대는 한 단계 뒤, 가격은 절반 | 8× A100 SXM 80GHGX A100 · NVSwitch 600 GB/s | 640 GB | $2,020 | $7,130/mo | $1.24 |
| 4-way 텐서 병렬, 노드의 절반같은 패브릭, 더 작은 약정 | 4× H100 SXMNVLink · 900 GB/s | 320 GB | $1,750 | $6,220/mo | $2.16 |
| 독립적인 추론 복제본 8개카드당 모델 하나, FP8 지원 | 8× L40SPCIe Gen4 peer-to-peer | 384 GB | $1,070 | $3,740/mo | $0.65 |
| 확산 및 비디오 큐 병렬 처리카드당 1.79 TB/s | 8× RTX 5090PCIe Gen5 peer-to-peer | 256 GB | $1,120 | $3,890/mo | $0.68 |
| 렌더 팜, 카드당 배치 작업 하나카드 8장을 보유하는 가장 저렴한 방법 | 8× RTX 4090PCIe Gen4 peer-to-peer | 192 GB | $790 | $2,810/mo | $0.49 |
GPU 외에 노드에는 무엇이 포함되나요?
여기의 모든 수치는 카드 기준이 아니라 노드 기준이며, 전부 여러분 전용입니다.
| 노드 | 총 VRAM | vCPU | RAM | NVMe | 네트워크 | 리전 |
|---|---|---|---|---|---|---|
| 8× B200HGX B200 | 1,440 GB | 224 | 2 TB | 24 TB | 2 × 100G | DFW-1 |
| 8× H200 SXMHGX H200 | 1,128 GB | 192 | 2 TB | 16 TB | 2 × 100G | DFW-1, IAD-1 |
| 8× H100 SXMHGX H100 | 640 GB | 160 | 2 TB | 16 TB | 2 × 100G | DFW-1, IAD-1, PDX-1 |
| 4× H100 SXM하프 베이스보드 | 320 GB | 80 | 1 TB | 8 TB | 100G | DFW-1, IAD-1, PDX-1 |
| 8× MI300XAMD Instinct 플랫폼 | 1,536 GB | 192 | 2 TB | 16 TB | 2 × 100G | DFW-1 |
| 8× A100 SXM 80GHGX A100 | 640 GB | 128 | 1 TB | 8 TB | 100G | DFW-1, IAD-1, PDX-1 |
| 8× L40SPCIe Gen4 | 384 GB | 128 | 752 GB | 4 TB | 100G | DFW-1, IAD-1, PDX-1 |
| 8× RTX 5090PCIe Gen5 | 256 GB | 96 | 496 GB | 4 TB | 100G | DFW-1, IAD-1, PDX-1 |
| 8× RTX 4090PCIe Gen4 | 192 GB | 64 | 376 GB | 2 TB | 100G | DFW-1, IAD-1, PDX-1 |
NVSwitch 노드와 PCIe 노드의 차이는 무엇인가요?
위 표에는 두 그룹의 머신이 있고, 그 차이는 약 30 대 1입니다.
NVSwitch and NVLink
HGX 플랫폼에서는 H100 및 H200 노드에서 모든 카드가 서로 900 GB/s, B200 노드에서 1.8 TB/s, A100 노드에서 600 GB/s로 연결됩니다. MI300X 플랫폼은 Infinity Fabric으로 896 GB/s의 같은 역할을 수행합니다. 경로에 CPU가 끼어들지 않습니다.
그 대역폭이 텐서 병렬을 현실적으로 만듭니다. 하나의 모델을 8개 카드에 나누면 모든 레이어에서 all-reduce가 발생하며, 한 번의 포워드 패스에 수백 번씩 일어납니다. 링크가 느리면 카드는 연산이 아니라 그 교환을 기다리느라 시간을 보냅니다.
PCIe peer-to-peer
L40S, RTX 5090, RTX 4090 노드에는 NVLink가 없습니다. 카드들은 PCIe로 통신하는데, Gen4 x16 링크에서는 한 방향으로 약 32 GB/s, Gen5에서는 약 63 GB/s이며, 루트 컴플렉스를 통과하는 다른 모든 것과 대역폭을 공유합니다. H100 SXM 카드의 900 GB/s와 비교하면 대략 28분의 1 대역폭입니다.
실제로는 카드당 모델 하나를 뜻합니다. 데이터 병렬 학습, 로드 밸런서 뒤의 추론 복제본 8개, 렌더 작업 8개는 모두 괜찮습니다. PCIe 노드에서 8-way 텐서 병렬 샤딩은 가능하지만 느리며, 벽시계 시간 비용이 노드로 아낀 돈보다 더 큽니다.
여러분의 모델에는 멀티 GPU 노드의 VRAM이 얼마나 필요한가요?
먼저 파라미터당 바이트 수를 계산하세요. 거의 모든 노드 결정은 그 숫자 하나에서 나옵니다.
사이징 규칙
가중치는 FP8에서 파라미터당 1바이트, BF16에서 2바이트를 사용합니다. 모델을 서빙하려면 KV 캐시와 약 2 GB의 런타임 오버헤드를 더하세요. BF16에서 Adam으로 전체 파인튜닝하려면 파라미터당 약 16바이트를 잡아야 합니다. 가중치 2, 그래디언트 2, 옵티마이저 상태와 FP32 마스터 사본에 12입니다. VRAM 가이드의 수치에 따르면 70B는 FP8 서빙에 75 GB, BF16에 145 GB, LoRA에 156 GB, 활성화를 포함한 전체 파인튜닝에는 1,288 GB가 필요합니다. 이 중 마지막만 노드 규모의 숫자입니다.
그것으로 무엇을 할 수 있나
BF16 70B 모델은 145 GB가 필요하므로 80 GB 카드 한 장에는 들어가지 않지만, 8× H100 SXM 노드에는 배치와 KV 캐시를 위한 495 GB 여유를 두고 올라갑니다. 같은 모델의 전체 파인튜닝은 1,288 GB로 8× B200 또는 8× MI300X에서만 가능합니다. 여기 나머지 노드들은 모두 LoRA 또는 ZeRO 오프로드가 필요하며, 이는 파인튜닝용 GPU 페이지에 정리되어 있습니다.
70B LoRA는 이 노드 작업에 해당하지 않습니다. 156 GB 기준으로 VRAM 가이드는 월 $1,590인 MI300X 한 장에 올리라고 안내합니다. 노드를 쓰면 7배의 비용과 쓸데없는 device map 설정으로 저녁 시간만 날립니다.
달러당 GB 기준으로 순위는 명확합니다. MI300X 노드는 GB-월당 $7.45, L40S 노드는 $9.74, A100 노드는 $11.14, H100 노드는 $19.02입니다. 저렴한 것에는 이유가 있습니다. 하나는 ROCm이고 다른 하나는 NVLink가 없기 때문입니다.
멀티 GPU 할인은 어떻게 적용되고, 중복 적용이 되나요?
카드 2장 5%, 4장 8%, 8장 10% 할인이 단일 카드 가격에 적용됩니다. 선불 기간 할인과 중복 적용됩니다.
| H100 SXM, 단일 호스트 | 표시 가격 | 할인 | 결제 금액 | GPU 시간당 |
|---|---|---|---|---|
| 카드 1장 | $1,690 | 없음 | $1,690/mo | $2.35 |
| 카드 2장 | $3,380 | 5% | $3,211/mo | $2.23 |
| 카드 4장NVLink, 하프 베이스보드 | $6,760 | 8% | $6,220/mo | $2.16 |
| 카드 8장풀 HGX 노드, NVSwitch | $13,520 | 10% | $12,170/mo | $2.11 |
| 카드 8장, 3개월 선불10% 후 5% | $40,560 | 14.5% | $34,685total | $2.01 |
| 카드 8장, 6개월 선불10% 후 10% | $81,120 | 19% | $65,718total | $1.90 |
NVSwitch로 연결된 H100 SXM 8장의 하한선은 GPU 시간당 $1.90이며, 월 단위 연장의 단일 카드는 $2.35입니다. 결제는 주문 규모에 따라 달라지지 않습니다. BTC, ETH, USDT, USDC, XMR, SOL 또는 LTC로 한 번 이체하면 끝나며 카드나 신분증이 필요하지 않습니다. 암호화폐 결제 방식, 무 KYC GPU 호스팅의 의미, 그리고 월 단위가 시간당 과금보다 나은 이유를 참조하세요.
여러 노드에 걸쳐 GPU 16~64개를 대여할 수 있나요?
네, 노드 사이에 InfiniBand를 구성하며 카탈로그 판매 대신 건별로 견적을 냅니다.
견적과 리드 타임
GPU 16~64개를 위 노드 요금 기준으로 견적 냅니다. 패브릭에 따라 리드 타임은 2~6주입니다.
주문 시 50%
첫 기간의 절반을 7개 코인 중 하나로 선결제합니다. 그래야 하드웨어가 예약됩니다.
인도 시 50%
패브릭이 기동 테스트를 통과하고 root 권한을 받으면 나머지를 지불합니다. 어떤 단계에서도 신원 확인이 없습니다.
한 리전 내 인스턴스 간 네트워킹
같은 리전의 인스턴스는 사설 VLAN을 공유할 수 있습니다. 공용 경유 없이 머신 간 레이어 2 연결이며 월 $25이고 모든 8-way 노드에 포함됩니다. 이는 4개의 8× A100 노드에 데이터를 공급하는 스토리지 박스에 적합한 도구입니다.
InfiniBand를 대체하지는 않습니다. VLAN은 다른 모든 것과 같은 100G Ethernet을 사용합니다. 데이터 로딩과 체크포인트에는 괜찮지만, 매 단계 그래디언트 교환에는 적합하지 않습니다.
멀티 GPU 노드가 잘못된 선택인 때는 언제인가요?
작업이 카드 한 장에 들어간다면 노드는 돈 낭비입니다. 8× RTX 4090 노드는 월 $2,810인 반면 단일 카드는 $390이고, FP8 13B 모델은 가중치, 캐시, 오버헤드를 모두 합쳐 22 GB입니다. 카드 8장은 8개의 작업 스트림이 있거나 한 장에 들어가지 않는 모델일 때만 값을 합니다.
이틀만 카드 8장이 필요하다면 시간제 제공업체를 이용하세요. 8× H100 노드는 6시간을 돌리든 168시간을 돌리든 주 $3,420입니다. 그리고 처리량이 아니라 메모리가 제약이라면 단일 141 GB의 H200이나 192 GB의 MI300X로 노드 필요성이 사라지는 경우가 많습니다.
노드를 대여해야 할 때
모델이 카드 한 장에 들어가지 않거나, 실행이 몇 주 동안 지속되거나, 하나의 주소 뒤에 복제본 8개가 필요하거나, 작업이 샤딩되어 카드 간 900 GB/s가 필요할 때입니다.
단일 카드를 대여해야 할 때
작업이 독립적이거나 부하를 예측할 수 없거나, 8장을 약정하기 전에 H100 SXM 한 장으로 테스트하고 싶을 때입니다.