GPU Rent HubVRAM 가이드

얼마나 많은 VRAM이 필요할까? 먼저 계산, 그다음 카드.

70B 파라미터 모델은 BF16으로 서빙하려면 약 145GB, FP8에서는 75GB, INT4에서는 40GB의 VRAM이 필요하며, GPU Rent Hub는 각 경우에 맞는 전용 카드를 임대합니다. INT4의 경우 48GB A40에서 월 $240, FP8은 80GB H100 PCIe에서 $1,490, BF16은 192GB MI300X에서 $1,590이며, 신원 확인 없이 Bitcoin, Ethereum, USDT, USDC, Monero, Solana 또는 Litecoin으로 결제할 수 있습니다. 아래 모든 숫자는 다시 계산할 수 있는 산수입니다. 어느 것도 벤치마크가 아닙니다. 출처를 밝힐 수 없는 수치는 인용하지 않기 때문입니다.

업데이트: 2026-09-01

2 BBF16에서 파라미터당 바이트

$5.00GB당 월 기준 가장 저렴한 VRAM 임대료

192 GB단일 카드 최대 VRAM, MI300X

15선택 가능한 카드

01 공식

모델에 필요한 VRAM을 어떻게 계산하나요?

세 가지 항목입니다. 가중치, KV 캐시, 런타임 오버헤드. 그중 두 가지는 정확히 계산할 수 있습니다.

크기 계산 블록

필요한 VRAM = (파라미터 × 파라미터당 바이트) + KV 캐시 + 약 2GB 런타임 오버헤드. 파라미터당 바이트는 FP32에서 4, BF16 또는 FP16에서 2, FP8에서 1, INT4에서 0.5입니다. KV 캐시는 2 × 레이어 수 × KV 헤드 수 × 헤드 차원 × 원소당 바이트 × 컨텍스트 길이 × 배치 크기이며, 앞의 2는 키와 값을 포함하기 때문입니다. 런타임 오버헤드는 CUDA 컨텍스트, 프레임워크, 할당자 단편화이며, 단일 프로세스에는 2GB를 안전하게 잡는 것이 좋습니다.

한 번 계산하면: FP8 70B 모델, 8,192 토큰, 배치 1에서 가중치 70GB, KV 캐시 2.7GB, 오버헤드 2GB로 총 75GB이며, 이는 80GB 카드 한 장에 여유 5GB로 들어갑니다.

마지막 기가바이트를 두고 논쟁하기 전에 정해야 할 두 가지 관례.

십억 단위 파라미터에 파라미터당 바이트를 곱하면 기가바이트가 바로 나옵니다. 이때 기가바이트는 10⁹바이트인 십진 관례를 따릅니다. 카드 용량도 같은 방식으로 표기됩니다. 대신 기비바이트로 보고하는 도구를 쓰면 여기 모든 수치가 약 7% 줄어듭니다. 그래서 마지막 기가바이트까지 계획하기보다 여유를 두는 이유입니다.

활성 파라미터가 아니라 상주 파라미터 기준으로 크기를 잡으세요. Mixture-of-Experts 모델은 모든 expert를 VRAM에 유지하고 토큰당 두 개를 실행합니다. 메모리는 전체, 속도는 일부입니다.

정밀도	바이트/파라미터	7B	70B
FP32추론에는 거의 가치 없음	4	28 GB	280 GB
BF16 / FP16기준점	2	14 GB	140 GB
FP8Ada, Hopper, Blackwell, CDNA 3	1	7 GB	70 GB
INT4 / NF4가중치만, 모든 아키텍처	0.5	3.5 GB	35 GB

FP8은 하드웨어 지원이 필요합니다. A100, A40, RTX A6000, RTX 3090, RTX A5000에는 없습니다. INT4 가중치 전용 양자화는 이들 모두에서 실행됩니다.

02 추론

7B, 13B, 34B, 70B, 405B 모델을 실행하려면 VRAM이 얼마나 필요할까?

가중치에 8,192 토큰, 배치 1 기준 KV 캐시를 더하고 2GB를 더한 값입니다. 컨텍스트를 바꾸면 KV 열이 바뀌고 가중치는 바뀌지 않습니다.

모델	8k, 배치 1에서 KV	BF16 합계	FP8 합계	INT4 합계
7B32 레이어, GQA, KV 헤드 8	1.1 GB	17 GB	10 GB	7 GB
13B40 레이어, MHA, GQA 없음	6.7 GB	35 GB	22 GB	15 GB
34B60 레이어, GQA, KV 헤드 8	2.0 GB	72 GB	38 GB	21 GB
70B80 레이어, GQA, KV 헤드 8	2.7 GB	145 GB	75 GB	40 GB
405B126 레이어, GQA, KV 헤드 8	4.2 GB	816 GB	411 GB	209 GB

모든 열의 KV 캐시는 FP16 기준입니다. 헤드 차원은 모두 128입니다. 이 수치는 일반적인 형태일 뿐 보편적인 값이 아니므로, 행을 신뢰하기 전에 모델의 config.json에서 레이어 수와 KV 헤드 수를 확인하세요.

13B 행이 흥미롭습니다. 아래 70B보다 KV 캐시가 더 큽니다. 이 모델은 키와 값 헤드가 40개인 멀티헤드 어텐션을 사용하는데, 이후 모델은 그룹 쿼리 어텐션과 8개를 사용합니다. 이 변화로 캐시가 5분의 1에서 8분의 1로 줄었고, 그래서 긴 컨텍스트 서빙이 저렴해졌습니다. 2024년 이전 모델의 크기를 잡을 때는 파라미터 수보다 어텐션 방식을 먼저 확인하세요.

배치 크기는 KV 캐시만 곱합니다. 70B를 배치 32로 돌리면 동일한 70GB 가중치에 캐시 85GB가 추가되어, 엔드포인트는 한 번에 요청 하나를 처리할 때보다 훨씬 많은 메모리가 필요합니다. 서비스 크기 산정은 LLM 추론용 GPU 페이지에 있습니다.

03 컨텍스트

긴 컨텍스트에서 KV 캐시는 VRAM을 얼마나 사용하나요?

토큰에 선형, 배치에 선형입니다. 128k에서는 캐시가 가중치보다 더 클 수 있습니다.

모델 형태	토큰당 KV	8k	32k	128k
7B, 32 레이어, GQAKV 폭 1,024	0.13 MB	1.1 GB	4.3 GB	17.2 GB
13B, 40 레이어, MHAKV 폭 5,120	0.82 MB	6.7 GB	26.8 GB	107.4 GB
34B, 60 레이어, GQAKV 폭 1,024	0.25 MB	2.0 GB	8.1 GB	32.2 GB
70B, 80 레이어, GQAKV 폭 1,024	0.33 MB	2.7 GB	10.7 GB	42.9 GB
405B, 126 레이어, GQAKV 폭 1,024	0.52 MB	4.2 GB	16.9 GB	67.6 GB

FP16 캐시, 배치 1 기준. FP8 캐시라면 모든 수치를 절반으로 나누세요. 배치 크기를 곱하세요. KV 폭은 KV 헤드 수 × 헤드 차원입니다.

이것이 문제가 되는 지점.

FP8 70B는 8k에서 80GB 카드에 여유 5GB로 들어갑니다. 32k로 늘리면 캐시만 10.7GB가 되어 더 이상 맞지 않습니다. 그래서 141GB H200 SXM과 192GB MI300X가 제품으로 존재하는 것입니다. H100 SXM보다 더 많은 컨텍스트를 담으며, 더 빠르다는 것과는 다른 이야기입니다.

KV 캐시를 FP8로 양자화하는 것은 가중치 양자화와는 별개의 수단이며, 보통 비용이 더 적습니다. 캐시를 절반으로 줄이면서 가중치를 한 단계 더 낮추는 것보다 품질 비용이 훨씬 적고, vLLM과 TensorRT-LLM 모두 지원합니다.

04 훈련

모델을 파인튜닝하려면 VRAM이 얼마나 필요할까?

전체 파인튜닝은 파라미터당 약 16바이트가 듭니다. LoRA는 2, QLoRA는 0.5입니다. 이 세 숫자의 차이가 결정의 전부입니다.

Adam을 사용한 전체 파인튜닝은 파라미터당 다섯 가지를 보관합니다. BF16 가중치(2바이트), BF16 그래디언트(2), FP32 마스터 사본(4), Adam 1차 및 2차 모멘트(각 4). 활성화 이전에 파라미터당 16바이트입니다. LoRA는 기본 모델을 동결하므로 동결된 모델에 파라미터당 2바이트, 어댑터에만 최적화 상태를 지불하며 일반적으로 파라미터의 0.5%입니다. QLoRA는 동결된 기본 모델을 4비트로 양자화하므로 파라미터당 0.5바이트가 들고 어댑터는 동일합니다.

모델	전체 FT, 가중치 + Adam	전체 FT, 활성화 포함	LoRA	QLoRA
7B	112 GB	129 GB	21 GB	10 GB
13B	208 GB	239 GB	33 GB	14 GB
34B	544 GB	626 GB	79 GB	28 GB
70B	1,120 GB	1,288 GB	156 GB	51 GB
405B	6,480 GB	7,452 GB	856 GB	249 GB

가정을 명시했으니 필요에 따라 바꿀 수 있습니다: 그래디언트 체크포인팅 켜짐, 시퀀스 길이 2,048, 배치 1, 어텐션 프로젝션에 rank-16 어댑터(파라미터의 약 0.5%), 활성화 및 단편화를 위해 전체 파인튜닝 열에 15% 추가. 어댑터 최적화 상태는 어댑터 파라미터당 16바이트로 계산.

전체 파인튜닝 열은 모든 것을 GPU에 상주시킨 단순 계산 수치입니다. 최적화 상태를 호스트 메모리로 오프로드하는 ZeRO stage 3는 GPU 측 요구량을 크게 줄이며, 저희 8-Way 노드는 바로 그 용도로 2TB 호스트 RAM을 갖추고 있습니다. 오프로드는 VRAM을 위해 PCIe 대역폭을 희생하므로 빠르기보다 실행 가능하게 만듭니다. 방법 선택은 파인튜닝용 GPU 페이지에 있습니다.

마지막 두 열을 첫 열과 비교해 보세요. 70B 전체 파인튜닝에는 8-카드 노드가 $11,450에 필요합니다. 동일한 70B를 QLoRA로 하면 51GB가 필요하고, 이는 월 $990의 A100 SXM 80GB 한 장이면 됩니다. 방법이 더 나쁘긴 하지만 거의 12배까지 나쁘지는 않은데, 비용은 12배 차이입니다. 이 질문을 하는 대부분의 사람들은 전체 파인튜닝 수치를 안내받았지만 실제로는 그럴 필요가 없습니다.

05 조회

70B 모델 또는 다른 크기에 어떤 GPU가 필요할까?

세로축은 모델 크기, 가로축은 방법입니다. 각 셀은 필요한 VRAM과 이를 담을 수 있는 가장 저렴한 장비입니다.

모델	추론 BF16	추론 FP8	추론 INT4	QLoRA	LoRA	전체 파인튜닝
7B	17 GBRTX A5000 $190	10 GBL4 $250	7 GBRTX A5000 $190	10 GBRTX A5000 $190	21 GBRTX A5000 $190, 빠듯	129 GBMI300X $1,590
13B	35 GBA40 $240	22 GBL4 $250, 빠듯	15 GBRTX A5000 $190	14 GBRTX A5000 $190	33 GBA40 $240	239 GB4× A100 $3,643
34B	72 GBA100 SXM $990	38 GBRTX 6000 Ada $460	21 GBRTX A5000 $190, 빠듯	28 GBA40 $240	79 GBA100 SXM $990, 빠듯	626 GB8× A100 $7,130, 빠듯
70B	145 GBMI300X $1,590	75 GBH100 PCIe $1,490	40 GBA40 $240	51 GBA100 SXM $990	156 GBMI300X $1,590	1,288 GB8× MI300X $11,450
405B	816 GB8× MI300X $11,450	411 GB8× MI300X $11,450	209 GB8× A40 $1,728	249 GB8× A40 $1,728	856 GB8× MI300X $11,450	7,452 GB5개 노드, 견적 문의

8,192 토큰, 배치 1 기준으로 맞는 가장 저렴한 단일 카드입니다. 여러 카드 조합은 단일 카드로 담을 수 없을 때만 표시했습니다. 이 표는 모델을 담을 수 있는 가장 저렴한 카드라는 한 가지 질문에 답합니다. 워크로드 가이드는 다른 질문, 즉 실제로 실행할 가치가 있는 가장 저렴한 카드에 답하며, 때로는 더 비싼 다른 카드일 수 있고 그 이유가 거기에 나와 있습니다. 빠듯은 여유가 5GB 미만이거나 멀티카드 행에서는 카드당 2GB 미만임을 의미합니다. 멀티카드 가격에는 2카드 5%, 4카드 8%, 8카드 10%의 볼륨 할인이 포함됩니다. 전체 파인튜닝 행은 NVLink 또는 NVSwitch를 가정합니다. PCIe 피어투피어로 매 단계 all-reduce를 수행하는 것은 임대할 가치가 없기 때문입니다. 대부분 행에는 더 저렴한 멀티카드 대체 구성이 있으며, 섹션 07에서 언제 선택해야 하는지 설명합니다. 13B FP8 셀이 가장 빠듯합니다. 22GB는 L4에서 여유 2GB만 남기며, L4의 300GB/s는 저희가 임대하는 가장 느린 메모리이므로, 적합성보다 디코드 속도가 제약일 때는 RTX 6000 Ada $460이 대안입니다. MI300X는 이 표에서 일곱 셀을 차지하며 세 가지 조건이 따릅니다. DFW-1 Dallas 전용, 마지막 카탈로그 업데이트 기준 8장 이용 가능, ROCm 전용(CUDA 아님). 따라서 vLLM과 PyTorch는 실행되지만 직접 작성한 CUDA 커널은 실행되지 않습니다. 사양 및 지역별 재고는 GPU 카탈로그에서, 할인은 가격 페이지에서 확인하세요.

눈여겨볼 셀은 70B INT4입니다. 40GB이며, 월 $240의 A40 48GB 한 장으로 해결됩니다. 속임수가 아니라 4비트 양자화와 48GB GDDR6이 주는 것일 뿐입니다. 그 대가로 무엇을 포기했는지는 섹션 07에 정리했습니다. 8-Way 노드 한 대를 넘어서면 카드 문제가 아니라 클러스터 문제이며, 멀티 GPU 클러스터 임대 페이지에서 다룹니다.

06 메모리 비용

달러당 VRAM이 가장 많은 GPU는 무엇일까?

월 요금을 VRAM 기가바이트로 나눈 값, 그리고 메모리 대역폭을 월 요금으로 나눈 값. 어느 누구도 이 수치를 공개하지 않습니다. 하지만 두 값이 TFLOPS 수치보다 더 많은 구매 결정을 좌우합니다.

GPU	VRAM	대역폭	월 요금	월 GB당 $	월 $당 GB/s	GPU-시간당
MI300XHBM3, CDNA 3	192 GB	5.3 TB/s	$1,590/mo	$8.28	3.33	$2.21
B200HBM3e, Blackwell, 최소 2-GPU	180 GB	8 TB/s	$3,890/mo	$21.61	2.06	$5.40
H200 SXMHBM3e, Hopper	141 GB	4.8 TB/s	$2,290/mo	$16.24	2.10	$3.18
H100 SXMHBM3, NVLink 900 GB/s	80 GB	3.35 TB/s	$1,690/mo	$21.13	1.98	$2.35
H100 PCIeHBM2e	80 GB	2 TB/s	$1,490/mo	$18.63	1.34	$2.07
A100 SXMHBM2e, FP8 미지원	80 GB	2.04 TB/s	$990/mo	$12.38	2.06	$1.38
L40SGDDR6 ECC, FP8	48 GB	864 GB/s	$520/mo	$10.83	1.66	$0.72
RTX 6000 AdaGDDR6 ECC, FP8	48 GB	960 GB/s	$460/mo	$9.58	2.09	$0.64
RTX A6000GDDR6 ECC, FP8 미지원	48 GB	768 GB/s	$290/mo	$6.04	2.65	$0.40
A40GDDR6 ECC, FP8 미지원	48 GB	696 GB/s	$240/mo	$5.00	2.90	$0.33
RTX 5090GDDR7, FP8	32 GB	1.79 TB/s	$540/mo	$16.88	3.31	$0.75
RTX 4090GDDR6X, FP8	24 GB	1.01 TB/s	$390/mo	$16.25	2.59	$0.54
L4GDDR6, FP8, 72 W	24 GB	300 GB/s	$250/mo	$10.42	1.20	$0.35
RTX 3090GDDR6X, FP8 미지원	24 GB	936 GB/s	$230/mo	$9.58	4.07	$0.32
RTX A5000GDDR6 ECC, FP8 미지원	24 GB	768 GB/s	$190/mo	$7.92	4.04	$0.26

VRAM 기준으로 정렬. GB당 달러는 월 요금을 용량으로 나눈 값입니다. 달러당 GB/s는 메모리 대역폭을 월 요금으로 나눈 값으로, 높을수록 좋습니다. GPU-시간당은 월 요금을 약정 기간 720시간으로 나눈 값이며, 월간 vs 시간제 GPU 임대에서 설명합니다. B200 가격은 카드당이지만 8-way HGX 베이스보드로만 제공되고 최소 임대 단위가 2장이므로, 가장 작은 B200 주문은 2장입니다. 정가 기준 월 $7,780, 2카드 5% 할인 적용 시 $7,391.

두 열에서 각각 다른 카드가 1위를 차지하므로 두 값을 모두 공개합니다. A40은 GB당 월 $5.00로, 동일한 48GB에 대해 L40S가 청구하는 금액의 절반 미만입니다. 2020년 카드에 696GB/s 대역폭이기 때문입니다. RTX 3090은 달러당 4.07GB/s로 H100 SXM의 두 배 이상인데, 빠른 버스와 낮은 임대료를 가진 구형 소비자 카드이기 때문입니다. 어느 쪽도 여기서 최고의 카드는 아닙니다. 둘 다 특정 질문에 정확히 답할 뿐입니다.

MI300X는 예외적입니다. GB당 $8.28로 A100, H100, H200보다 저렴한 메모리이며 5.3TB/s 대역폭을 갖추어 위의 대형 모델 셀을 채웁니다. 비용은 CUDA가 아니라 ROCm이라는 점입니다. vLLM과 PyTorch는 실행되지만 직접 작성한 CUDA 커널은 실행되지 않습니다.

07 반론

VRAM이 많다고 항상 정답일까?

아닙니다. 용량을 사는 것이 잘못된 구매인 세 가지 경우와 각각의 계산을 소개합니다.

병목은 용량이 아니라 대역폭

토큰 하나를 디코딩할 때 상주하는 모든 가중치를 VRAM에서 한 번 읽습니다. 대역폭을 모델의 상주 크기로 나누면 단일 스트림 초당 토큰의 상한이 나옵니다. BF16 7B는 14GB이므로, 696GB/s의 A40은 초당 50토큰을 넘을 수 없고, 1.79TB/s의 RTX 5090은 128토큰을 넘을 수 없습니다. 둘 다 모델을 담을 수 있습니다. 하나는 2.6배 더 빠릅니다.

상한일 뿐 벤치마크가 아닙니다. 실제로는 그 아래에 머뭅니다.

작은 카드에서 양자화가 큰 카드의 전체 정밀도를 이긴다

BF16 34B는 총 72GB로 $990의 A100이 필요합니다. 68GB 가중치에 2.04TB/s면 초당 30토큰 상한입니다. 같은 34B를 INT4로 하면 총 21GB로 $390의 RTX 4090에 맞습니다. 17GB 가중치에 1.01TB/s면 상한 59입니다. 더 빠르고 61% 저렴합니다. 포기한 것은 양자화된 가중치의 품질이며, 가정하지 말고 평가해야 합니다.

더 저렴하고 빠르지만 출력 품질은 낮습니다. 테스트하세요.

저렴한 카드 2장, 때로는

A40 두 장은 96GB를 월 $456에 제공하고, A100 한 장은 80GB를 $990에 제공합니다. 메모리는 더 많고 가격은 절반 미만입니다. 카드당 복제본을 두는 배치 추론, QLoRA, 낮은 동시성에서 레이어 분할 서빙에 효과적입니다. 텐서 병렬 처리와 all-reduce가 있는 훈련 단계에서는 실패합니다. 카드 사이 링크를 구매하지 않았기 때문입니다.

96GB가 $456. 함정은 인터커넥트입니다.

NVLink의 요점, 정확히.

H100 SXM은 NVLink를 통해 이웃과 900GB/s로 통신합니다. A40 또는 RTX A6000 쌍은 112GB/s의 NVLink 브리지를 사용합니다. L40S에는 NVLink가 없고 PCIe Gen4 피어투피어로 약 32GB/s의 라인 속도로 데이터를 옮깁니다. RTX 5090도 NVLink가 없지만 Gen5 링크라 약 63GB/s입니다. 이 차이는 텐서 병렬 실행에서 레이어당 토큰당 한 번씩 지불됩니다.

텐서가 아니라 레이어로 분할하면 그 트래픽 대부분을 피하지만 아무것도 높아지지 않습니다. 토큰당 모델의 모든 바이트를 읽어야 하며, 카드 한 장이 아니라 두 장에서 순차적으로 읽습니다. 텐서 병렬 처리는 두 카드를 두 배 대역폭으로 바꾸는 방식이며, 바로 그 모드가 빠른 링크를 필요로 합니다. 이것이 거래의 전부입니다.

계산 비교

2× RTX 5090: 64GB, 합산 3.58TB/s, 월 $1,026, PCIe Gen5 피어투피어
1× H100 SXM: 80GB, 3.35TB/s, 월 $1,690, 단일 메모리 공간
평가: 서류상으로는 이 쌍이 이기지만 카드당 32GB에 맞지 않는 모델에서는 집니다.

모델이 카드 한 장에 맞으면 한 장에 올리세요. 분할을 추가할 때마다 동기화 지점, 장애 모드, 그리고 디바이스 맵 디버깅으로 보내는 저녁 시간이 늘어납니다.

08 저희에게 임대하지 말아야 할 때

이 페이지가 당신을 다른 곳으로 보내야 하는 경우.

저희 최소 기간은 7일입니다. 13B가 24GB에 맞는지 확인하려고 오후에 카드 한 장이 필요하다면 시간제 제공업체를 이용하세요. 몇 시간 비용은 여기 RTX A5000의 최소 주간 요금 $55보다 저렴합니다. 저희는 시간 단위로 판매하지 않으며 그럴 계획도 없습니다.

적합성이 아니라 속도로 두 카드를 고르는 중이라면 표 읽기를 멈추고 두 카드 모두에서 스택을 실행해 보세요. 여기 있는 모든 것은 용량 계산과 대역폭 상한입니다. 어느 쪽도 여러분의 커널, 배치 형태, 스케줄러가 무엇을 할지 예측하지 못하며, 출처를 밝힐 수 없는 처리량 수치로 그렇지 않은 척하지 않을 것입니다.

405B 전체 파인튜닝에 6,480GB가 필요하다면 임대 페이지가 아니라 클러스터, 패브릭, 계획이 필요합니다. DFW-1 Dallas, IAD-1 Ashburn 또는 PDX-1 Hillsboro의 멀티노드 용량에 대해 영업팀에 문의하세요. 가격보다 인터커넥트에 대한 대화가 먼저일 것입니다.

TL;DR 여기서 시작

학습, 최대 13B 모델: RTX A5000 24 GB, $190/mo
프로덕션에서 24B~34B 서빙: L40S 48 GB, $520/mo
$600 미만에서 가장 빠른 단일 카드: RTX 5090 32 GB, $540/mo
INT4 기준 가장 저렴한 70B: A40 48 GB, $240/mo
단일 카드에서 BF16 70B: MI300X 192 GB, $1,590/mo
70B 긴 컨텍스트: H200 SXM 141 GB, $2,290/mo

BTCETHUSDTUSDCXMRSOLLTC

한 번 입금하면 약 90초 만에 배포되며, 이메일 주소와 신원 서류가 필요 없습니다. 무 KYC GPU 호스팅과 암호화폐 결제 작동 방식을 참고하세요.

09 질문

사람들이 실제로 묻는 방식으로 정리한 VRAM 질문.

70B 모델을 실행하려면 VRAM이 얼마나 필요한가요?

8,192 토큰, 배치 1 기준 BF16 약 145GB, FP8 75GB, INT4 40GB입니다. 가중치 + 2.7GB KV 캐시 + 2GB 오버헤드입니다. FP8 수치는 80GB 카드 한 장에 맞습니다. INT4 수치는 월 $240의 48GB A40에 맞습니다.

7B 모델에는 VRAM이 얼마나 필요한가요?

8k 컨텍스트, 배치 1 기준 BF16 17GB, FP8 10GB, INT4 7GB입니다. 셋 모두 24GB 카드에 맞으므로 월 $190의 RTX A5000 하나로 모두 처리할 수 있습니다. 더 나은 질문은 대역폭입니다. 7B의 디코딩 상한은 A5000에서 초당 55토큰, RTX 5090에서 128토큰입니다.

KV 캐시 크기는 어떻게 계산하나요?

2 × 레이어 수 × KV 헤드 수 × 헤드 차원 × 원소당 바이트 × 컨텍스트 길이 × 배치 크기. 80개 레이어, KV 헤드 8개, 헤드 차원 128인 70B의 경우 FP16에서 토큰당 0.33MB, 따라서 8k에서 2.7GB, 128k에서 42.9GB입니다. FP8 캐시는 모든 수치를 절반으로 줄입니다.

모델을 파인튜닝하는 데 24GB VRAM으로 충분한가요?

QLoRA는 짧은 시퀀스 길이에서 최대 약 34B까지 가능합니다. 13B는 약 14GB, 7B는 10GB가 필요합니다. BF16 LoRA의 경우 24GB는 7B(약 21GB)까지 커버하며 그보다 큰 모델은 안 됩니다. Adam을 사용한 전체 파인튜닝은 불가능합니다. 7B조차 약 129GB가 필요한데, 최적화 상태가 파라미터당 16바이트이기 때문입니다.

405B 모델에는 어떤 GPU가 필요한가요?

INT4 기준 약 209GB가 필요하며, A40 8장이 월 $1,728에 이를 담습니다. 다만 각각 696GB/s이므로 속도보다 용량입니다. FP8은 411GB, BF16은 816GB가 필요하며 둘 다 $11,450의 8× MI300X 노드에 맞습니다. 전체 파인튜닝에는 약 7,452GB가 필요하며 클러스터에 속합니다.

24GB 카드 두 장이 48GB 카드 한 장처럼 작동하나요?

용량은 비슷합니다. 속도는 아닙니다. 두 카드에 분할된 모델도 토큰마다 모든 바이트를 읽어야 하므로 레이어 분할은 상한을 높이지 않습니다. 텐서 병렬 처리는 높여주지만, 모든 레이어에서 카드 사이 링크를 통해 활성화를 교환합니다. NVLink 브리지 112GB/s, PCIe Gen5 약 63GB/s, Gen4 32GB/s.

GB당 VRAM이 가장 저렴한 GPU는 무엇인가요?

A40입니다. 48GB를 월 $240에 제공하므로 GB당 월 $5.00로, 저희 보유 제품 중 가장 낮은 비율입니다. RTX A6000이 $6.04, RTX A5000이 $7.92, MI300X가 $8.28입니다. H100 SXM은 GB당 $21.13인데, 용량이 아니라 대역폭과 FP8 처리량을 구매하는 것이기 때문입니다.

INT4로 양자화하면 출력 품질이 떨어지나요?

예, 측정 가능하게 떨어지며, 그 정도는 모델과 방법에 따라 다릅니다. AWQ, GPTQ 같은 가중치 전용 방식은 단순 반올림보다 손실이 눈에 띄게 적습니다. 정직한 절차는 양자화하고, 직접 평가 세트를 돌려서, 절약한 카드만큼 손실을 감수할 가치가 있는지 판단하는 것입니다. 저희는 두 카드를 모두 임대하지만 어떤 의견도 갖고 있지 않습니다.

워크로드별 크기 산정은 LLM 추론용 GPU와 파인튜닝용 GPU에서, 전체 사양·재고·가격은 GPU 카탈로그에서 확인하세요.

이제 숫자를 알았으니 카드를 고르세요.

DFW-1, IAD-1, PDX-1에서 15개 모델, 월 $190부터, 주간 또는 월간, 7개 암호화폐로 신원 확인 없이 결제.

계정 만들기 →