GPU Rent HubLLM 추론용 GPU

LLM 추론용 GPU 선택하기.

GPU Rent Hub는 LLM 추론용 전용 GPU 서버를 NVIDIA L4 기준 월 $250부터 H200 SXM 기준 월 $2,290까지 임대하며, 비트코인, 이더리움, USDT, USDC, 모네로, 솔라나 또는 라이트코인으로 결제하고 본인 인증이 없습니다.

카드를 결정하는 숫자는 두 가지입니다. 가중치와 KV 캐시가 필요로 하는 VRAM, 그리고 초당 토큰 수를 결정하는 메모리 대역폭입니다.

Updated 2026-09-01

75 GBFP8, 8k 컨텍스트, 배치 1의 70B

3.35 TB/sH100 SXM 메모리 대역폭

$2.35월 기준 GPU-시간당 H100 SXM

20 TB인스턴스당 포함 아웃바운드

01 크기 산정

LLM 추론에는 VRAM이 얼마나 필요한가?

여기서 카드를 결정하는 숫자는 두 가지입니다. 유도 과정은 VRAM 가이드에 있고, 움직이는 항은 KV 캐시이며 모델이 아니라 트래픽에 따라 달라집니다.

이 페이지가 근거로 삼는 두 숫자

FP8의 70B 모델은 8,192토큰, 배치 1에서 75GB이고, 그중 2.7GB가 KV 캐시입니다. 가중치+캐시+오버헤드 공식, 각 정밀도에서의 매개변수당 바이트 수, 모든 모델 크기 행은 GPU VRAM 가이드에서 항별로 유도하며 여기서 반복하지 않습니다. 아래에서는 그 두 숫자로 계산합니다. 75GB는 80GB 카드가 70B를 5GB 여유로 서빙하는 이유이고, 2.7GB 캐시는 표의 120B 행으로 이어지는 항입니다.

캐시 항은 긴 컨텍스트에서 주도권을 잡습니다. 매개변수 수가 아니라 컨텍스트 길이 × 배치 크기에 따라 커지기 때문입니다. 128k와 동시 요청 32개에서는 가중치를 초과할 수 있습니다. 그래서 동일 실리콘을 쓰는 H100 SXM보다 141GB H200 SXM이 더 비쌉니다.

모델 크기	BF16, 매개변수당 2B	FP8, 매개변수당 1B	4비트, 매개변수당 0.5B	FP8 기준으로 들어가는 가장 저렴한 NVIDIA 카드
7B–8BLlama 8B, Mistral 7B, Qwen 7B	17 GB	10 GB	7 GB	L4, 24 GB
13B–14B40 레이어, MHA, 대용량 캐시	35 GB	22 GB	15 GB	L4, 24 GB, 빠듯함
32B–34B	72 GB	38 GB	21 GB	RTX 6000 Ada, 48 GB
70B	145 GB	75 GB	40 GB	H100 PCIe, 80 GB
120B동일 공식, 가이드 행 없음	245 GB	125 GB	65 GB	H200 SXM, 141 GB
405B	816 GB	411 GB	209 GB	8× MI300X, 1,536 GB

8,192토큰과 배치 1에서의 KV 캐시에 가중치와 2GB 오버헤드를 더한 값이며, 각 FP8 수치를 담는 가장 저렴한 카드와 함께 GPU VRAM 가이드에서 인용했습니다. 마지막 열은 NVIDIA만 기준입니다. 대안이 소프트웨어 스택이 다르기 때문입니다. 120B 행에서는 192GB MI300X가 같은 125GB를 월 $1,590에 담아 H200 SXM의 $2,290과 비교되지만, CUDA가 아닌 ROCm, 3개 사이트가 아닌 Dallas라는 대가가 따릅니다. 120B 행은 70B 행의 2.7GB 캐시를 가져와 같은 공식을 한 단계 더 진행한 것입니다. 가이드 행이 그 크기를 다루지 않기 때문입니다. 405B 행은 이 열의 예외입니다. 어느 브랜드의 단일 카드로도 담을 수 없고, 담는 가장 저렴한 노드는 8× MI300X이기 때문입니다. FP8 70B는 8k에서 80GB 카드에 5GB 여유를 남기며, 캐시만 10.7GB가 되는 32k에서는 더 이상 맞지 않습니다.

02 대역폭

LLM 추론에서 TFLOPS보다 메모리 대역폭이 더 중요한 이유는 무엇인가?

토큰 하나를 디코딩할 때 모든 가중치를 한 번 읽습니다. 카드는 연산이 아니라 메모리를 기다립니다.

배치 1에서는 토큰마다 전체 가중치 집합을 VRAM에서 스트리밍하고 매개변수당 약 2회의 부동소수점 연산을 수행하며, BF16에서는 로드된 바이트당 1회 연산입니다. H100 SXM의 텐서 코어를 바쁘게 유지하려면 약 300이 필요한데, 1,979 sparse FP16 TFLOPS를 dense 기준 약 990으로 잡고 3.35 TB/s 대역폭과 비교하면 그렇습니다. 카드는 큰 차이로 메모리 병목이므로 초당 토큰 수의 상한은 대역폭을 토큰당 읽는 가중치 바이트 수로 나눈 값입니다.

BF16 8B 모델은 16GB입니다. 1.01 TB/s의 RTX 4090에서는 상한이 초당 63토큰이고, 3.35 TB/s의 H100 SXM에서는 209입니다. 이는 스펙 시트상 상한이며 실제 디코딩은 그 아래에 머뭅니다. 그 차이를 출처로 확인할 수 없어 수치를 제시하지는 않습니다. 순위는 유지됩니다. 프리필은 반대로 연산 병목이며, FP8 텐서 코어가 제 역할을 하는 구간입니다.

상한, 초당 토큰 수 = 메모리 대역폭 ÷ (매개변수 × 매개변수당 바이트). 배치를 늘리면 단일 요청 속도는 올리지 않고 카드당 처리량을 올립니다. 가중치는 배치 전체에 대해 한 번만 읽기 때문입니다.

표에서 우리에게 불리하게 읽히는 사실 두 가지. 2.04 TB/s의 A100 SXM은 H100 PCIe보다 대역폭이 높고, 936 GB/s의 RTX 3090은 L40S보다 높습니다. 둘 다 더 나은 추론 카드는 아닙니다. 이유는 03절에서 설명합니다.

GPU	VRAM	대역폭	BF16 8B 상한	월 요금	GPU-시간당
B200Blackwell, HBM3e, 2-GPU 최소	180 GB	8 TB/s	500 t/s	$3,890/mo	$5.40
MI300XCDNA 3, HBM3	192 GB	5.3 TB/s	331 t/s	$1,590/mo	$2.21
H200 SXMHopper, HBM3e	141 GB	4.8 TB/s	300 t/s	$2,290/mo	$3.18
H100 SXMHopper, HBM3	80 GB	3.35 TB/s	209 t/s	$1,690/mo	$2.35
A100 SXMAmpere, FP8 미지원	80 GB	2.04 TB/s	128 t/s	$990/mo	$1.38
H100 PCIeHopper, HBM2e	80 GB	2 TB/s	125 t/s	$1,490/mo	$2.07
RTX 5090Blackwell, GDDR7	32 GB	1.79 TB/s	112 t/s	$540/mo	$0.75
RTX 4090Ada, GDDR6X	24 GB	1.01 TB/s	63 t/s	$390/mo	$0.54
RTX 6000 AdaAda, GDDR6 ECC	48 GB	960 GB/s	60 t/s	$460/mo	$0.64
RTX 3090Ampere, FP8 미지원	24 GB	936 GB/s	59 t/s	$230/mo	$0.32
L40SAda, GDDR6 ECC	48 GB	864 GB/s	54 t/s	$520/mo	$0.72
A40Ampere, FP8 미지원	48 GB	696 GB/s	44 t/s	$240/mo	$0.33
L4Ada, 72 W	24 GB	300 GB/s	19 t/s	$250/mo	$0.35

상한 열은 대역폭을 BF16 가중치 16GB로 나눈 값으로, 측정 결과가 아니라 스펙 시트상 상한입니다. GPU-시간당 요금은 월 요금을 720으로 나눈 값입니다. B200 가격은 카드당이며 8-way HGX 베이스보드 단위로 판매하므로 B200 최소 주문은 카드 2장, 2장 할인 전 월 $7,780입니다. 모든 15개 카드는 GPU 카탈로그에 있습니다.

03 정밀도

FP8이 중요할까, 그리고 A100이 가격이 암시하는 것보다 나쁜 추론 카드인 이유는?

FP8은 가중치를 절반으로 줄입니다. 토큰당 읽는 바이트가 절반이 되고, 들어가는 모델 크기는 두 배가 됩니다.

Hopper, Ada Lovelace, Blackwell에는 FP8 텐서 코어가 있습니다. B200, H200, H100 SXM, H100 PCIe, L40S, RTX 6000 Ada, RTX 5090, RTX 4090, L4가 그렇습니다. Ampere는 아닙니다. A100, A40, RTX A6000, RTX A5000, RTX 3090은 FP8을 지원하지 않으며 이는 드라이버 공백이 아니라 실리콘 차이입니다.

그래서 FP8 70B 모델은 75GB이고 H100 SXM 한 장으로 월 $1,690, GPU-시간당 $2.35에 실행됩니다. Ampere에서는 BF16으로 145GB가 되어 A100 SXM 두 장이 필요합니다. 정가 $1,980, 2장 할인 5% 적용 시 월 $1,881이며, 이는 단일 H100 SXM의 GPU-시간당 $2.35에 대해 엔드포인트 기준 시간당 $2.61입니다. 게다가 모든 토큰에서 텐서 병렬 트래픽이 발생합니다. 더 저렴한 카드가 더 비싼 엔드포인트를 만듭니다.

Ampere는 여전히 임대할 가치가 있습니다

파인튜닝, 4비트 서빙, 그리고 월 $1,000 미만에 80GB가 필요할 때 요점이 됩니다. 운영 토큰 엔드포인트의 기본 선택으로는 좋지 않으며, $990 가격표는 이를 숨깁니다.

MI300X는 알아둘 만한 예외입니다. 192GB HBM3, 5.3TB/s, 월 $1,590로 BF16 70B 모델을 한 장에 145GB로, 47GB 여유를 두고 담으며 양자화나 샤딩이 없습니다. ROCm 6.4 템플릿으로 PyTorch ROCm 빌드와 함께 부팅됩니다.

04 추천

모델 크기별 LLM 추론에 가장 좋은 GPU는 무엇인가?

모델 크기순으로 정렬했습니다. 구간마다 카드 하나를 위의 계산으로 골랐습니다.

서빙 대상	선택	VRAM	주간 요금	월 요금	GPU-시간당
7B–8B, 상시 운영, 낮은 QPS72W, 단일 슬롯, FP8	L4	24 GB	$70	$250/mo	$0.35
7B–14B, 지연 시간이 중요1.01 TB/s, 재고 265대	RTX 4090	24 GB	$110	$390/mo	$0.54
FP8 기반 14B–24B$600 미만 최고 메모리 속도	RTX 5090	32 GB	$155	$540/mo	$0.75
FP8 기반 24B–34BECC, 8-way 노드, RT 코어	L40S	48 GB	$148	$520/mo	$0.72
BF16 32B, 양자화 없음350W Hopper	H100 PCIe	80 GB	$420	$1,490/mo	$2.07
FP8 70B, 카드 한 장운영 기본 선택	H100 SXM	80 GB	$475	$1,690/mo	$2.35
BF16 70B, 카드 한 장카드당 최대 HBM	MI300X	192 GB	$450	$1,590/mo	$2.21
100B–120B, 또는 128k의 70BKV 캐시 여유	H200 SXM	141 GB	$640	$2,290/mo	$3.18
FP8 405B, 노드 하나8-way, NVSwitch 1.8 TB/s	8× B200	1,440 GB	$7,850	$28,010/mo	$4.86

GPU-시간당 요금은 월 요금을 720으로 나눈 값이고, 노드의 경우 카드 8장과 720시간으로 나눈 값입니다. 다중 GPU 할인은 2장 5%, 4장 8%, 8장 10%이므로 8× H100 SXM 노드는 월 $12,170, GPU-시간당 $2.11입니다. 재고: H100 SXM 63대, RTX 5090 100대, L40S 74대, RTX 4090 265대. 이것들은 우리가 해당 작업을 돌릴 카드입니다. VRAM 가이드의 조회는 단지 담을 수 있는 가장 저렴한 카드를 지목하므로, 여기 행이 때로는 더 비싼 카드일 수 있고 이유는 행에 있습니다. 405B 행이 가장 분명한 사례입니다. 가이드는 FP8 405B를 담는 가장 저렴한 노드로 월 $11,450의 8× MI300X를 제시하지만, 이 표는 1.8TB/s 패브릭을 이유로 8× B200을 선택합니다.

가격은 DFW-1 Dallas, IAD-1 Ashburn, PDX-1 Hillsboro에서 동일하므로 지연 시간으로 리전을 선택하세요. MI300X는 Dallas에만 있습니다. B200 8대 중 6대는 DFW-1, 2대는 PDX-1에 있으며 IAD-1에는 없습니다.

05 인스턴스

GPU Rent Hub LLM 추론 서버에서 무엇을 받나요?

베어메탈, root, 서빙 스택 사전 설치, 활성화 전까지는 아무것도 리슨하지 않습니다.

vLLM 0.9 템플릿

Ubuntu 24.04에 vLLM 0.9와 OpenAI 호환 서버 유닛이 설치되어 있습니다. 유닛은 비활성 상태로 제공됩니다. 활성화하고 포트에 도달할 수 있는 대상을 결정하는 것은 본인입니다.

기본적으로 아무것도 노출되지 않습니다.

Ollama 템플릿

튜닝된 서버보다 2분 만에 답하는 모델용입니다. Ollama는 localhost에 바인딩되며 보통 WireGuard를 통해 직접 노출합니다.

같은 규칙: 이동 전까지는 localhost.

20 TB 아웃바운드 포함

스트리밍 토큰당 JSON 및 SSE 프레이밍 약 100바이트로 계산하면 월 약 2,000억 토큰입니다. 텍스트 엔드포인트는 이에 도달하지 않습니다.

이후 TB당 $4. 인바운드는 무제한.

100G 포트, 10G 보장

10 Gbps 하한이 있는 공유 100G 업링크, IPv4 1개와 IPv6 /64. 오디오나 이미지를 스트리밍한다면 전용 100G 포트가 월 $220입니다.

인스턴스 간 프라이빗 VLAN, 월 $25.

상시 추론은 기간제의 가장 분명한 사례입니다. 예측할 수 없는 시간에 바쁘고, 콜드 스타트를 용납하지 않으며, 미터링 플랫폼이라면 스케일업할 때마다 다시 내려받을 가중치를 계속 보유하기 때문입니다. 트래픽이 오든 오지 않든 720시간 동안 카드는 본인 것이며 선점될 수 없습니다. 월간 대 시간제 GPU 임대의 손익분기 계산과 배포 세부 사항은 문서에 있습니다. BTC, ETH, USDT, USDC, XMR, SOL 또는 LTC로 주문 한 번, 결제 한 번: 암호화폐 결제 방식과 무 KYC GPU 호스팅의 의미.

BTCETHUSDTUSDCXMRSOLLTC

06 하지 말아야 할 때

LLM 추론용 전용 GPU를 임대하지 말아야 할 때는 언제인가?

전용 카드가 잘못된 도구인 세 가지 경우이며, 차라리 그렇게 말하고 싶습니다.

월 토큰이 대략 1천만 개 미만이면 호스팅 토큰 API를 사용하세요. L4에서 7B 모델은 월 $250이며, 그 볼륨에서는 백만 토큰당 $25이고, 비슷한 오픈 모델의 상용 토큰당 요금은 그보다 낮습니다.

둘째, 간헐적 트래픽입니다. 화요일에 요청 100개에 응답하고 다음 주까지 아무것도 없는 엔드포인트는 카드를 몇 분만 사용하고 720시간을 임대합니다. 시간제 제공업체를 사용하세요. 우리의 최단 기간은 7일이고 미터링이 없습니다.

셋째, 일을 해내는 더 작은 카드입니다. 34B 모델을 4비트로 양자화하면 21GB에 들어가며, 월 $230의 RTX 3090이 936 GB/s로 3GB 여유를 두고 서빙합니다. 이는 가이드 조회가 같은 칸에 지목하는 더 저렴한 RTX A5000보다 빠른 메모리입니다. 모델 이름에 큰 숫자가 있다는 이유로 H100 SXM을 임대하지 마세요.

이런 경우 우리에게 임대하세요

엔드포인트가 항상 켜져 있고, 토큰당 과금이 가장 큰 비용이 되었거나, 가중치와 프롬프트가 다른 사람이 손대지 않는 하드웨어에 있어야 하거나, 본인 확인 없이 암호화폐로 결제하고 싶을 때입니다.

이런 경우 우리에게 임대하지 마세요

오후에 잠깐 카드가 필요하거나, 트래픽이 예측 불가하고 낮거나, 4분의 1 가격 카드에 4비트로 모델이 들어가는지 아직 측정하지 않았을 때입니다.

훈련은 옵티마이저 상태가 지배하는 다른 크기 산정 문제입니다. 파인튜닝용 GPU를 참고하세요.

07 질문

LLM 추론용 GPU, 간단히 묻고 답합니다.

LLM 추론에 가장 좋은 GPU는 무엇인가요?

모델 크기에 따라 다릅니다. 7B~14B에는 월 $390의 RTX 4090이 가성비 선택입니다. FP8 24B~34B에는 48GB L40S가 $520입니다. FP8 70B에는 H100 SXM 한 장이 $1,690, GPU-시간당 $2.35입니다. 100B 이상에는 H200 SXM이 $2,290입니다.

70B 엔드포인트에는 가중치 외에 무엇이 필요한가요?

캐시입니다. 그리고 캐시는 모델이 아니라 동시성에 따라 커집니다. 가중치와 단일 스트림 수치는 GPU VRAM 가이드에 있습니다. FP8 기준 8,192토큰 및 배치 1에서 75GB입니다. 그 컨텍스트에서 동시 요청이 하나 늘 때마다 2.7GB가 추가되므로, 동시에 8개가 처리 중이면 약 22GB가 더해지고 32개면 약 85GB입니다. 이것이 5GB 여유로 스트림 하나를 서빙하는 80GB 카드와 실제 동시성을 가진 엔드포인트를 서빙하는 141GB H200 또는 192GB MI300X의 차이입니다. 캐시를 FP8로 양자화하면 그 수치가 모두 절반이 됩니다.

vLLM용 GPU를 임대할 수 있나요?

네. 모든 인스턴스는 Ubuntu 24.04에서 vLLM 0.9 템플릿으로 부팅되며, 활성화하기 전까지 비활성으로 제공되는 OpenAI 호환 서버 유닛이 포함됩니다. 베어메탈에서 root 권한을 가지므로 직접 빌드로 교체할 수 있습니다. MI300X는 PyTorch ROCm 빌드와 함께 ROCm 6.4 템플릿을 사용합니다.

A100이 좋은 LLM 추론 카드가 아닌 이유는 무엇인가요?

Ampere에는 FP8 텐서 코어가 없어 70B 모델이 BF16에서 145GB로 실행됩니다. A100 SXM 두 장이 필요하며, 정가 $1,980이고 2장 할인 5% 적용 시 월 $1,881입니다. 같은 모델을 FP8로 3.35 TB/s에 서빙하는 H100 SXM 한 장의 $1,690과 대비됩니다. A100은 여전히 파인튜닝과 4비트 서빙에 좋은 카드입니다.

GPU가 초당 몇 토큰을 생성하나요?

상한은 메모리 대역폭을 토큰당 읽는 가중치 바이트로 나눈 값입니다. BF16 8B 모델은 16GB이므로, 1.01 TB/s의 RTX 4090은 초당 약 63토큰, 3.35 TB/s의 H100 SXM은 약 209토큰이 최대입니다. 실제 스택은 상한 아래에 있으며, 얼마나 아래인지는 커널, 배치 형태, 스케줄러에 따라 달라지므로 우리는 비율이 아니라 상한을 게시합니다.

상시 LLM 엔드포인트에 월간 임대가 적합한가요?

보통 그렇습니다. 고정 기간은 트래픽이 오든 오지 않든 비용이 같으므로, 예측할 수 없는 시간에 응답하는 엔드포인트는 유휴 프리미엄을 내지 않고 콜드 스타트도 없으며 용량을 기다리지 않습니다. 손익분기는 가격에서 나옵니다. H100 SXM 월 $1,690과 예시로 든 $2.49~$3.49 미터를 비교하면 720시간 중 사용 시간 약 480~680시간에서 손익분기이므로, 그 이하라면 시간제 제공업체가 더 저렴합니다. 전체 계산은 월간 대 시간제 페이지에 있습니다.

토큰 API를 위한 대역폭이 충분히 포함되나요?

네. 각 인스턴스에는 월 20TB 아웃바운드가 포함되며, 스트리밍 토큰당 약 100바이트의 JSON 및 SSE 프레이밍으로 계산하면 약 2,000억 토큰입니다. 인바운드는 무제한이므로 가중치를 내려받는 비용은 없습니다. 20TB 초과 시 TB당 $4이고, 전용 100G 포트는 월 $220입니다.

LLM 추론 서버를 임대하려면 신분증을 제출해야 하나요?

아니요. 계정은 이메일 주소 없이 사용자 이름과 비밀번호만 있으면 되며, 기간마다 비트코인, 이더리움, USDT, USDC, 모네로, 솔라나 또는 라이트코인으로 한 번 송금해 결제합니다. GPU Rent Hub Compute LLC는 2021년 3월 15일부터 이 방식으로 운영해 왔으며, DFW-1 Dallas, IAD-1 Ashburn, PDX-1 Hillsboro에 걸쳐 6,300개의 GPU를 보유하고 있습니다.

더 깊은 크기 산정 사례는 GPU VRAM 가이드, 모든 카드는 GPU 카탈로그, 기간 할인은 가격 페이지에 있습니다.

누구도 손대지 않는 하드웨어에 엔드포인트를 올리세요.

DFW-1, IAD-1 또는 PDX-1에서 전용 카드에 vLLM을 약 90초 만에 배포하세요. 주문 한 번, 결제 한 번, 이메일 없음, 신분증 없음.

계정 만들기 →