GPU Rent Hub파인튜닝용 GPU

확인할 수 있는 계산으로 용량을 정해 파인튜닝용 GPU를 임대하세요.

GPU Rent Hub는 파인튜닝용 전용 NVIDIA 및 AMD GPU를 주 또는 월 단위로 임대합니다. 7B 모델에서 QLoRA를 실행하는 24GB 카드는 월 $190부터, NVLink로 연결된 8× H100 SXM 노드는 월 $12,170까지이며, 비트코인, 이더리움, USDT, USDC, 모네로, 솔라나, 라이트코인으로 본인 확인 없이 결제합니다.

업데이트 2026-09-01

112 GB7B 전체 파인튜닝, Adam, 활성화 이전

10 GBQLoRA 적용 시 동일 모델

900 GB/sH100 SXM 및 H200의 NVLink

72 h미납 갱신 유예 기간

01 정의

파인튜닝에는 실제로 GPU 메모리가 얼마나 필요한가?

사람들이 자주 틀리는 부분이며, 어떤 카드를 임대할지 결정하는 유일한 부분입니다.

파인튜닝 메모리를 한 단락으로. Adam 옵티마이저를 사용한 전체 파인튜닝은 파라미터당 약 16바이트가 듭니다. BF16 가중치 2바이트, 그래디언트 2바이트, FP32 마스터 사본 4바이트, Adam의 두 모멘트 상태 각각 4바이트입니다. 따라서 7B 모델은 활성화를 하나도 저장하기 전에 대략 112 GB가 필요하며, 이는 24 GB 카드에도 80 GB 카드에도 맞지 않습니다. LoRA는 기본 가중치를 고정하고 작은 어댑터 행렬을 학습하므로, 비용은 파라미터당 2바이트인 고정된 기본 모델에 어댑터와 옵티마이저 상태 수백 메가바이트를 더한 수준으로 줄어 7B 기준 약 21 GB입니다. QLoRA는 그 고정된 기본 모델을 4비트, 즉 파라미터당 0.5바이트로 양자화하고 동일한 어댑터를 학습하므로 7B 기준 약 10 GB, 70B 기준 약 51 GB입니다.

이 세 수치와 아래 표의 모든 수치는 GPU VRAM 가이드의 것으로, 그 가정은 다음과 같습니다. 그래디언트 체크포인팅 켜짐, 시퀀스 길이 2,048, 배치 1, 파라미터의 약 0.5%인 rank-16 어댑터, 런타임 오버헤드 여유분이 이미 포함되어 있습니다. 시퀀스 길이나 배치를 늘리면 활성화가 그 위에 추가로 커집니다.

16이 나오는 이유

학습 루프에서 모델을 한 번만 저장하는 것은 없습니다. 가중치, 같은 형태의 그래디언트, FP32 마스터 사본, 파라미터별 Adam의 평균과 분산이 필요합니다. 어떤 프레임워크도 이를 협상으로 없앨 수 없습니다.

LoRA가 제거하는 것

어댑터를 제외한 모든 것의 그래디언트와 두 옵티마이저 상태입니다. 고정된 기본 모델은 여전히 메모리에 상주해야 하므로, BF16 7B에서 LoRA는 다른 무엇보다 먼저 14 GB를 차지합니다. QLoRA는 옵티마이저가 아니라 상주 비용을 공격합니다.

02 규모 산정

7B, 13B, 70B 모델을 파인튜닝하려면 어떤 GPU가 필요한가?

모델과 방법, 이를 담는 카드를 맞춰보고, VRAM은 VRAM 가이드에서 인용했습니다. GPU-시간당 비용은 월 요금을 720으로 나눈 값입니다.

모델 및 방법	필요 VRAM	맞는 카드	카드 VRAM	주간	월간	GPU-시간당
7B, QLoRA4비트 기본, rank 16	10 GB	RTX A5000	24 GB	$55	$190/mo	$0.26
13B, QLoRA4비트 기본	14 GB	RTX 3090	24 GB	$65	$230/mo	$0.32
7B, LoRABF16 기본 모델 상주	21 GB	RTX 4090	24 GB	$110	$390/mo	$0.54
34B, QLoRA4비트 기본	28 GB	A40	48 GB	$68	$240/mo	$0.33
13B, LoRABF16 기본	33 GB	L40S	48 GB	$148	$520/mo	$0.72
70B, QLoRA4비트 가중치 35 GB	51 GB	A100 SXM	80 GB	$280	$990/mo	$1.38
34B, LoRABF16 기본, 단일 카드	79 GB	MI300X	192 GB	$450	$1,590/mo	$2.21
7B, 전체 파인튜닝Adam, 파라미터당 16바이트	129 GB	2× A100 SXMNVLink 600 GB/s, 가장 저렴한 CUDA 경로	160 GB	$532	$1,881/mo	$1.31
70B, LoRABF16 기본, 단일 카드	156 GB	1× MI300X샤딩 불필요	192 GB	$450	$1,590/mo	$2.21
70B, 전체 파인튜닝노드 전체 ZeRO-3	1,288 GB	8× MI300XInfinity Fabric 896 GB/s	1,536 GB	$3,240	$11,450/mo	$1.99

필요 VRAM은 GPU VRAM 가이드가 해당 모델과 방법에 대해 도출한 수치로, 시퀀스 길이 2,048, 배치 1, 그래디언트 체크포인팅 켜짐, 런타임 오버헤드 여유분이 이미 포함된 값입니다. 2장 가격에는 5% 멀티 GPU 할인이 포함되며, 8장 수치는 노드 가격입니다. GPU-시간당은 월 총액을 720시간과 카드 수로 나눈 값입니다. MI300X 두 행은 DFW-1 Dallas 전용이며 CUDA가 아니라 ROCm으로 실행됩니다. 이는 우리가 해당 작업을 실행할 카드이며, VRAM 가이드의 조회는 단지 이를 담을 수 있는 가장 저렴한 카드를 찾아주므로 여기 행이 때로는 더 비싼 카드일 수 있습니다. 두 행은 다른 선택이며 각각 이유가 있습니다. 7B LoRA 행은 같은 24GB에서 가이드의 RTX A5000이 아니라 RTX 4090을 선택했는데, 768에 비해 1,008GB/s의 대역폭이 모든 스텝을 단축하기 때문입니다. 7B 전체 파인튜닝 행은 가장 저렴한 CUDA 및 NVLink 경로로 A100 SXM 2장을 선택했으며, 192GB MI300X 1장이 ROCm에서 같은 129GB를 월 $1,590에 담습니다. 사양은 GPU 카탈로그에 있습니다.

8번째 행을 6번째 행과 비교해 보세요. 7B 전체 파인튜닝 비용은 70B QLoRA 비용의 약 두 배입니다. 대부분의 사람에게는 실제로 필요한 작업이 아닙니다.

03 선택

훈련용 GPU를 하나만 골라야 한다면 어떤 GPU를 임대해야 할까?

가격이 아니라 여러 주 동안 실행할 작업에 배포할 순서로 정렬했습니다. 재고는 DFW-1 Dallas, IAD-1 Ashburn, PDX-1 Hillsboro에 있습니다.

GPU	VRAM	인터커넥트	주간	월간	GPU-시간당	현재 여유
H100 SXM 추천HBM3, 3.35 TB/s, FP8	80 GB	NVLink 900 GB/s	$475	$1,690/mo	$2.35	63
A100 SXMHBM2e, 2.04 TB/s, FP8 없음	80 GB	NVLink 600 GB/s	$280	$990/mo	$1.38	78
H200 SXMHBM3e, 4.8 TB/s	141 GB	NVLink 900 GB/s	$640	$2,290/mo	$3.18	19
MI300XROCm 6.4, 5.3 TB/s	192 GB	Infinity Fabric 896 GB/s	$450	$1,590/mo	$2.21	8
L40SGDDR6 ECC, FP8	48 GB	PCIe Gen4 피어투피어	$148	$520/mo	$0.72	74
RTX A6000GDDR6 ECC, 768 GB/s	48 GB	NVLink 브리지 112 GB/s, 페어	$82	$290/mo	$0.40	65
RTX 3090GDDR6X, 936 GB/s	24 GB	NVLink 브리지 112 GB/s, 페어	$65	$230/mo	$0.32	186
RTX A5000GDDR6 ECC, 230 W	24 GB	NVLink 브리지 112 GB/s, 페어	$55	$190/mo	$0.26	51

현재 여유는 마지막 카탈로그 업데이트 시점에 세 사이트에서 예약되지 않은 카드 수입니다. 모든 가격에는 전력, 냉각, 10G 보장의 100G 업링크, IPv4 및 IPv6, 월 20TB 아웃바운드가 포함됩니다. 멀티 카드 및 선불 할인은 가격 페이지에 있습니다.

H100 SXM이 추천입니다. 하나의 부품 번호에 80GB HBM3, FP8 텐서 코어, 900GB/s NVLink를 담은, 우리가 임대하는 가장 저렴한 카드입니다. A100 SXM 80 GB은 $990의 가성비 답입니다. FP8은 없지만 NVLink 토폴로지는 동일하며 가격은 59%입니다.

04 인터커넥트

왜 단일 카드 이상에서는 NVLink가 중요한가?

샤딩된 실행은 매 스텝마다 카드 간에 그래디언트를 이동하며, 링크가 그 속도의 하한이기 때문입니다.

GPU 한 장에서는 인터커넥트가 무의미합니다. ZeRO-2, ZeRO-3 또는 텐서 병렬화로 샤딩하는 순간, 카드들은 매 스텝마다 그래디언트나 파라미터 샤드를 교환하며, 그 트래픽은 모델 크기의 고정 배수입니다. PCIe Gen4 x16의 단방향 라인 레이트는 약 32 GB/s이고 Gen5는 약 63입니다. H100 SXM의 NVLink는 900 GB/s입니다. 그것이 연산 뒤에 숨는 통신 스텝과 통신이 스텝 자체가 되는 경우의 차이입니다.

규칙은 이렇습니다. 단일 카드 LoRA 또는 QLoRA는 VRAM이 충분한 어떤 카드에서든 실행되고, 데이터 병렬 훈련은 PCIe를 견디며, 모델을 샤딩하는 모든 것은 NVLink를 원합니다. 카드 4장 이상에서는 NVSwitch가 필요하며, 멀티 GPU 클러스터 임대 페이지의 8-way HGX 노드가 이를 갖추고 있습니다.

RTX 4090과 RTX 5090에는 NVLink가 없습니다. NVIDIA는 Ampere 이후 컨슈머 라인에서 이를 제거했습니다. 이들은 강력한 단일 카드 훈련 GPU이며, 단일 카드 이상에서는 실질적인 제약입니다. 여덟 장을 구매한 뒤가 아니라 지금 미리 말씀드리는 편이 낫겠습니다.

A6000, A40, RTX 3090, RTX A5000은 NVLink 브리지를 지원하지만, 2장 쌍으로만, 112 GB/s에서만 가능합니다. 48GB 카드 두 장을 96GB로 묶는 데 유용합니다. 패브릭은 아닙니다.

카드	카드 간 링크	대역폭	샤딩 훈련
B2002, 4 또는 8 way	NVSwitch가 있는 NVLink 5	1.8 TB/s	예, 최대 8장
H100 SXM, H200 SXM	NVSwitch가 있는 NVLink	900 GB/s	예, 최대 8장
A100 SXM	NVSwitch가 있는 NVLink	600 GB/s	예, 최대 8장
MI300X	Infinity Fabric	896 GB/s	예, 8-way만
H100 PCIe	옵션 NVLink 브리지	600 GB/s	페어
A6000, A40, 3090, A5000	NVLink 브리지	112 GB/s	페어
L40S, RTX 6000 Ada, L4	PCIe Gen4 피어투피어	~32 GB/s	데이터 병렬만
RTX 4090, RTX 5090	PCIe 피어투피어, NVLink 없음	~32 / ~63 GB/sGen4 x16 / Gen5 x16	단일 카드

벤더가 공개한 GPU당 링크 대역폭 총합입니다. PCIe 수치는 x16 링크의 단방향 라인 레이트로, 4090은 Gen4, 5090은 Gen5이며, 실제 처리량은 이보다 낮습니다.

05 약정

왜 월 단위 약정이 훈련 실행에 적합한 형태인가?

파인튜닝은 과금 모델과 작업이 서로 일치하는 워크로드입니다.

체크포인트 주기는 여러분의 몫

선점형 용량에서는 축출에 대비해 방어적으로 체크포인트를 저장합니다. 간격이 축출에 대한 헤지이기 때문입니다. 약정에서는 복구 결정입니다. 손실 곡선이 그럴 만하면 천 스텝마다, 아니면 만 스텝마다 저장하면 됩니다.

H100 SXM의 로컬 NVMe 2TB

파인튜닝은 한 번의 실행으로 끝나는 경우가 거의 없습니다

학습률 스윕, 데이터 제거 실험, 평가가 실망스러운 뒤의 재실행은 한 번의 예약이 아니라 2주에 걸쳐 진행되는 세 번의 추가 실행입니다. 고정 약정에서는 각 실행에 추가 비용이 들지 않습니다.

같은 카드, 같은 환경, 재프로비저닝 없음

축출될 수 없습니다

60시간째 축출은 마지막 체크포인트 이후의 손실, 재대기 시간, 데이터셋 재로드를 초래합니다. 약정은 선점될 수 없습니다. 다른 누구도 그 카드에 대기하고 있지 않기 때문입니다.

단일 테넌트 베어메탈, 루트 액세스

데이터셋이 상주합니다

실행 사이에 작업 세트는 로컬 NVMe에 남아 있으며, H100 SXM에는 2TB, A100에는 1TB가 있어, 두 번째 스윕은 다운로드가 아니라 첫 스텝에서 시작됩니다.

첫 실행 이후 콜드 스타트 없음

종량제와의 교차 계산은 월간 vs 시간제 GPU 임대에 있으며, 약정을 시작하기 전에 읽어볼 가치가 있습니다. 훈련에 특정한 점은 스윕과 재로드도 GPU-시간으로 집계된다는 것이므로, 교차점을 검증할 때 사용할 가동률 수치는 단일 실행이 아니라 2주입니다.

06 체크포인트

체크포인트는 어디로 가고, 약정 종료 후 무엇이 남는가?

옵티마이저 상태를 포함한 70B 체크포인트는 1TB가 넘습니다. 4,000 스텝 전에 어디에 둘지 정하세요.

로컬 NVMe: 포함: H100 SXM 및 H200 2TB, A100 SXM 1TB, L40S 및 A6000 500GB. 인스턴스별 LUKS2 암호화, 약정 종료 7일 후 삭제.
추가 로컬 NVMe: 월 TB당 $9, 노드당 최대 30TB. 동일 호스트, 동일 암호화.
네트워크 볼륨: 월 TB당 $14, 리전 내 삼중 복제, 여러 인스턴스에 연결 가능, 해제 후에도 유지.
스냅샷: 월 TB당 $6. 리전 내 모든 인스턴스로 복원 가능하며, 데이터셋을 다시 업로드하지 않고 A100에서 H100으로 실행을 옮기는 방법입니다.
데이터 반출: 인스턴스당 월 20TB의 아웃바운드 포함, 이후 TB당 $4. 어댑터 세트는 그 한도에 절대 닿지 않습니다.

실행이 약정보다 오래 지속되는 경우

갱신 주문은 동일한 가격으로 24시간 전에 생성됩니다. 미납으로 두면 약정 종료 시 인스턴스가 중지되고, BTC, ETH, USDT, USDC, XMR, SOL 또는 LTC로 결제하는 동안 72시간 동안 슬롯이 유지됩니다. 디스크는 그대로입니다. 이후 슬롯이 해제되고 NVMe 키가 폐기됩니다.

모든 체크포인트를 두 번 기록하세요. 속도는 로컬 NVMe, 보존은 네트워크 볼륨입니다. 볼륨만이 약정보다 오래 남는 유일한 사본입니다.

BTCETHUSDTUSDCXMRSOLLTC

하드웨어는 DFW-1, IAD-1 및 PDX-1에 있습니다. 계정은 사용자 이름과 비밀번호입니다. KYC 없는 GPU 호스팅과 암호화폐 결제 방법을 참조하세요.

07 솔직함

언제 우리에게 파인튜닝 GPU를 임대하지 말아야 하나?

세 가지 경우가 흔해서 차라리 적어 둡니다.

작업이 6시간 동안 실행되는 실험 하나라면 시간제 제공업체를 이용하세요. 우리의 최단 약정은 7일입니다. 오후 한나절 QLoRA를 위해 H100 SXM 한 달은 $1,690이고, 지불한 $1,690 중 약 $18만 사용하게 됩니다.

두 번째는 카드를 과하게 구매하는 것입니다. 많은 사람이 10GB만 필요한 7B QLoRA 파인튜닝에 H100을 임대합니다. 그 작업은 $190 RTX A5000에서 실행되며, 더 느리지만 아홉 배 느리지는 않습니다. 02절의 표에서 크기를 정하세요. 훈련하고 싶은 모델이 아니라.

세 번째는 이틀 동안 32장 또는 64장이 필요하고 다시는 필요 없는 실행입니다. 우리는 최대 8장 노드를 판매하며, 그 이상은 종량제 클러스터 제공업체가 더 적합합니다.

다음 경우 시간제로 임대하세요

월 총 사용량이 대략 480~680 GPU-시간 미만이라면, 즉 H100 SXM 한 달 $1,690이 예시적인 $2.49~$3.49 종량제와 만나는 지점이라면, 또는 스텝 시간을 재기 위해 A100 SXM과 H100 SXM을 각각 한 시간씩 원한다면입니다.

다음 경우 약정으로 임대하세요

실행이 주 단위로 측정되거나, 데이터셋 재업로드가 부담되거나, 이미 스팟 용량에서 한 번 축출된 적이 있거나, 본인 확인 없이 암호화폐로 결제하고 싶다면입니다.

08 질문

파인튜닝용 GPU 임대, 묻는 말에 답합니다.

7B 모델을 파인튜닝하려면 VRAM이 얼마나 필요한가?

QLoRA에서는 약 10GB, BF16 기본 모델에서 LoRA에서는 21GB, 활성화를 포함한 Adam 전체 파인튜닝에서는 129GB, 가중치·그래디언트·옵티마이저 상태만으로는 112GB입니다. 처음 두 개는 24GB 카드에 맞으므로 월 $190의 RTX A5000입니다. 세 번째에는 NVLink가 있는 80GB 카드 2장이 월 $1,881로 가장 저렴한 CUDA 경로이며, ROCm 스택이 맞다면 192GB MI300X 1장이 같은 129GB를 월 $1,590에 더 저렴하게 담습니다. 수치는 GPU VRAM 가이드에서 발췌.

70B 모델을 GPU 한 장에서 파인튜닝할 수 있나?

QLoRA에서는 가능합니다. 4비트 70B 기본 모델은 가중치가 약 35GB, 어댑터·옵티마이저 상태·오버헤드를 포함하면 51GB로, 월 $990의 A100 SXM 80GB에 맞습니다. BF16 70B 기본 모델에서 LoRA는 156GB가 필요하며, 192GB MI300X 한 장이면 월 $1,590으로 여전히 단일 카드입니다. 70B 전체 파인튜닝은 약 1,288GB가 필요하고 노드가 필요합니다.

GPU 메모리에서 LoRA와 QLoRA의 차이는 무엇인가?

LoRA는 기본 가중치를 BF16으로 고정(파라미터당 2바이트)하고 작은 어댑터 행렬을 학습하므로, 옵티마이저 상태는 수십 GB가 아니라 수백 MB입니다. QLoRA는 그 고정된 기본 모델을 4비트, 즉 파라미터당 0.5바이트로 양자화합니다. 7B 모델에서는 21GB 대 10GB입니다.

여러 GPU에서 파인튜닝하려면 NVLink가 필요한가?

한 장에서는 필요 없고, 작은 모델의 데이터 병렬 실행에서도 필요 없습니다. 그래디언트나 파라미터 샤드가 매 스텝마다 카드를 건너갈 때 중요합니다. H100 SXM과 H200은 900GB/s, A100 SXM은 600GB/s, B200은 1.8TB/s입니다. RTX 4090과 RTX 5090에는 NVLink가 없어 샤딩 훈련에는 권장하지 않습니다.

훈련용 GPU를 월 임대하는 데 비용이 얼마나 드나?

A100 SXM 80GB는 월 $990이며, 720시간 약정 기준 GPU-시간당 $1.38입니다. H100 SXM은 $1,690, 즉 $2.35입니다. NVSwitch가 있는 8장 H100 SXM 노드는 $12,170, 즉 $2.11입니다. QLoRA용 24GB 카드는 $190부터이며, 모든 카드를 주간으로도 이용할 수 있습니다.

약정이 끝나면 체크포인트는 어떻게 되나?

로컬 NVMe는 약정 종료 7일 후 삭제되고 암호화 키가 폐기되므로, 유지하려는 모든 것은 월 TB당 $14의 네트워크 볼륨에 두어야 합니다. 이 볼륨은 리전 내 삼중 복제되며 인스턴스 해제 후에도 유지됩니다. 매월 포함된 20TB 아웃바운드로 밖으로 꺼낼 수도 있습니다.

본인 확인 없이 훈련용 GPU를 임대할 수 있나?

네. 계정은 사용자 이름과 비밀번호입니다. 이메일 주소, 전화번호, 신분증, 등록 카드가 없습니다. BTC, ETH, USDT, USDC, XMR, SOL 또는 LTC로 한 번의 전송으로 약정을 결제합니다. 인스턴스 안에서 에이전트가 실행되지 않으며, 여기서 누구도 여러분의 데이터셋을 읽지 않습니다.

훈련 실행에는 시간제보다 월 임대가 더 나은가?

주 단위로 측정되는 실행이라면 그렇습니다. 파인튜닝은 카드를 거의 항상 사용하므로 고정 약정이 유리합니다. H100 SXM의 GPU-시간당 $2.35 대 시간당 $2.49~$3.49(이는 특정 벤더의 견적이 아니라 미국 온디맨드 제공업체의 예시 범위)이며, 축출도 대기도 없습니다. 오후 한나절이라면 시간제 제공업체를 이용하세요.

규모 산정은 GPU VRAM 가이드, 토폴로지는 멀티 GPU 클러스터 임대, 결과 서빙은 LLM 추론용 GPU, 이미지는 문서에서 확인하세요.

카드 크기를 정하고, 약정을 잡고, 실행을 시작하세요.

24GB QLoRA는 월 $190부터, NVLink H100 SXM은 $1,690부터, 8-way 노드는 $12,170부터. 주문 한 번, 결제 한 번, 신분증 없음, 카드 없음.

계정 만들기 →