Noleggia una GPU per il fine-tuning, dimensionata in base a calcoli che puoi verificare.
GPU Rent Hub noleggia GPU dedicate NVIDIA e AMD per il fine-tuning a settimana o a mese, da $190 al mese per una scheda da 24 GB che esegue QLoRA su un modello 7B fino a $12,170 al mese per un nodo 8× H100 SXM collegato via NVLink, pagabili in Bitcoin, Ethereum, USDT, USDC, Monero, Solana o Litecoin senza verifica dell'identità.
Quanta memoria GPU serve davvero per il fine-tuning?
Questa è la parte che spesso viene fraintesa, ed è l'unica che decide quale scheda noleggiare.
La memoria del fine-tuning in un paragrafo. Un fine-tuning completo con l'ottimizzatore Adam costa circa 16 byte per parametro: 2 per i pesi in BF16, 2 per i gradienti, 4 per la copia master in FP32 e 4 per ciascuno dei due stati dei momenti di Adam. Un modello da 7B richiede quindi circa 112 GB prima che venga memorizzata una singola attivazione, e non entra né in una scheda da 24 GB né in una da 80 GB. LoRA congela i pesi di base e addestra piccole matrici adattatrici, quindi il conto scende alla base congelata a 2 byte per parametro più qualche centinaio di megabyte di stato di adattatore e ottimizzatore: circa 21 GB per un 7B. QLoRA quantizza quella base congelata a 4 bit, 0.5 byte per parametro, e addestra gli stessi adattatori: circa 10 GB per un 7B e circa 51 GB per un 70B.
Quelle tre cifre, e tutte quelle nella tabella seguente, sono quelle della guida VRAM GPU, secondo le sue ipotesi: gradient checkpointing attivo, lunghezza di sequenza 2,048, batch 1, adattatori rank-16 a circa lo 0.5% dei parametri e un margine per l'overhead di runtime già incluso. Aumenta la lunghezza di sequenza o il batch e le attivazioni crescono in più.
Da dove viene il 16
In un ciclo di addestramento niente memorizza il modello una sola volta. Pesi, un gradiente della stessa forma, una copia master in FP32 e la media e la varianza di Adam per ogni parametro. Nessun framework può negoziare per evitarlo.
Cosa toglie LoRA
Il gradiente ed entrambi gli stati dell'ottimizzatore, per tutto tranne che per gli adattatori. La base congelata deve comunque restare residente, ed è per questo che LoRA su un 7B in BF16 occupa ancora 14 GB prima di qualsiasi altra cosa. QLoRA attacca la residenza, non l'ottimizzatore.
Quale GPU mi serve per fare fine-tuning su un modello 7B, 13B o 70B?
Modello contro metodo contro una scheda che lo contenga, con la VRAM citata dalla guida VRAM. Il costo per GPU/ora è il mensile diviso per 720.
| Modello e metodo | VRAM necessaria | Scheda che lo contiene | VRAM scheda | Settimanale | Mensile | Per GPU/ora |
|---|---|---|---|---|---|---|
| 7B, QLoRAbase a 4 bit, rank 16 | 10 GB | RTX A5000 | 24 GB | $55 | $190/mo | $0.26 |
| 13B, QLoRAbase a 4 bit | 14 GB | RTX 3090 | 24 GB | $65 | $230/mo | $0.32 |
| 7B, LoRAbase BF16 mantenuta residente | 21 GB | RTX 4090 | 24 GB | $110 | $390/mo | $0.54 |
| 34B, QLoRAbase a 4 bit | 28 GB | A40 | 48 GB | $68 | $240/mo | $0.33 |
| 13B, LoRAbase BF16 | 33 GB | L40S | 48 GB | $148 | $520/mo | $0.72 |
| 70B, QLoRA35 GB di pesi a 4 bit | 51 GB | A100 SXM | 80 GB | $280 | $990/mo | $1.38 |
| 34B, LoRAbase BF16, una scheda | 79 GB | MI300X | 192 GB | $450 | $1,590/mo | $2.21 |
| 7B, fine-tuning completoAdam, 16 byte per parametro | 129 GB | 2× A100 SXMNVLink 600 GB/s, il percorso CUDA più economico | 160 GB | $532 | $1,881/mo | $1.31 |
| 70B, LoRAbase BF16, una scheda | 156 GB | 1× MI300Xnessuno sharding necessario | 192 GB | $450 | $1,590/mo | $2.21 |
| 70B, fine-tuning completoZeRO-3 sul nodo | 1,288 GB | 8× MI300XInfinity Fabric 896 GB/s | 1,536 GB | $3,240 | $11,450/mo | $1.99 |
Confronta la riga otto con la riga sei. Un fine-tuning completo di un 7B costa circa il doppio di un QLoRA su un 70B. Per la maggior parte delle persone non è il lavoro che serve fare.
Quale GPU noleggeresti per l'addestramento, se dovessi sceglierne una?
Ordinate per ciò che useremmo per un'esecuzione di più settimane, non per prezzo. La disponibilità è tra DFW-1 Dallas, IAD-1 Ashburn e PDX-1 Hillsboro.
| GPU | VRAM | Interconnessione | Settimanale | Mensile | Per GPU/ora | Libere ora |
|---|---|---|---|---|---|---|
| H100 SXM SceltaHBM3, 3.35 TB/s, FP8 | 80 GB | NVLink 900 GB/s | $475 | $1,690/mo | $2.35 | 63 |
| A100 SXMHBM2e, 2.04 TB/s, senza FP8 | 80 GB | NVLink 600 GB/s | $280 | $990/mo | $1.38 | 78 |
| H200 SXMHBM3e, 4.8 TB/s | 141 GB | NVLink 900 GB/s | $640 | $2,290/mo | $3.18 | 19 |
| MI300XROCm 6.4, 5.3 TB/s | 192 GB | Infinity Fabric 896 GB/s | $450 | $1,590/mo | $2.21 | 8 |
| L40SGDDR6 ECC, FP8 | 48 GB | PCIe Gen4 peer-to-peer | $148 | $520/mo | $0.72 | 74 |
| RTX A6000GDDR6 ECC, 768 GB/s | 48 GB | Bridge NVLink 112 GB/s, coppie | $82 | $290/mo | $0.40 | 65 |
| RTX 3090GDDR6X, 936 GB/s | 24 GB | Bridge NVLink 112 GB/s, coppie | $65 | $230/mo | $0.32 | 186 |
| RTX A5000GDDR6 ECC, 230 W | 24 GB | Bridge NVLink 112 GB/s, coppie | $55 | $190/mo | $0.26 | 51 |
La H100 SXM è la scelta: la scheda più economica che noleggiamo che mette 80 GB di HBM3, tensor core FP8 e 900 GB/s di NVLink in un unico codice prodotto. La A100 SXM 80 GB è la risposta in termini di valore a $990, senza FP8, stessa topologia NVLink, 59% del prezzo.
Perché NVLink conta quando si va oltre una scheda?
Perché un'esecuzione shardata sposta gradienti tra le schede a ogni passo, e il collegamento è il limite minimo alla velocità con cui questo avviene.
Su una singola GPU l'interconnessione è irrilevante. Nel momento in cui si sharda, con ZeRO-2, ZeRO-3 o parallelismo tensore, le schede si scambiano gradienti o shard di parametri a ogni passo, e quel traffico è un multiplo fisso della dimensione del modello. PCIe Gen4 x16 ha una velocità di linea di circa 32 GB/s in una direzione, e Gen5 circa 63. NVLink su una H100 SXM è 900 GB/s. È la differenza tra un passo di comunicazione che si nasconde dietro il calcolo e uno che diventa il passo.
La regola: LoRA o QLoRA su scheda singola girano su qualsiasi cosa con VRAM sufficiente, l'addestramento data-parallel tollera PCIe e tutto ciò che sharda un modello richiede NVLink. Sopra le quattro schede serve NVSwitch, che i nodi HGX a 8 vie nella pagina noleggio cluster multi-GPU montano.
| Scheda | Collegamento tra schede | Banda | Addestramento shardato |
|---|---|---|---|
| B200a 2, 4 o 8 vie | NVLink 5 con NVSwitch | 1.8 TB/s | Sì, fino a 8 schede |
| H100 SXM, H200 SXM | NVLink con NVSwitch | 900 GB/s | Sì, fino a 8 schede |
| A100 SXM | NVLink con NVSwitch | 600 GB/s | Sì, fino a 8 schede |
| MI300X | Infinity Fabric | 896 GB/s | Sì, solo a 8 vie |
| H100 PCIe | Bridge NVLink opzionale | 600 GB/s | Coppie |
| A6000, A40, 3090, A5000 | Bridge NVLink | 112 GB/s | Coppie |
| L40S, RTX 6000 Ada, L4 | PCIe Gen4 peer-to-peer | ~32 GB/s | Solo data parallel |
| RTX 4090, RTX 5090 | PCIe peer-to-peer, senza NVLink | ~32 / ~63 GB/sGen4 x16 / Gen5 x16 | Scheda singola |
Perché un abbonamento mensile è la forma giusta per un addestramento?
Un fine-tuning è il carico di lavoro in cui il modello di fatturazione e il lavoro concordano tra loro.
La cadenza dei checkpoint è tua
Su capacità preemptible salvi i checkpoint in modo difensivo, perché l'intervallo è una copertura contro la revoca. Con un abbonamento è una decisione di ripristino: scrivi ogni mille passi se la curva di loss lo merita, oppure ogni diecimila.
Un fine-tuning raramente è una singola esecuzione
Una sweep di learning rate, un'ablazione dei dati e una ripetizione dopo che la valutazione delude sono altre tre esecuzioni, distribuite su un paio di settimane anziché in un'unica prenotazione. Ciascuna non costa nulla in più con un canone fisso.
Non può essere revocata
Una revoca all'ora 60 costa il divario dall'ultimo checkpoint, l'attesa in coda e il ricaricamento del dataset. Un abbonamento non può essere interrotto, perché nessun altro è in coda per la scheda.
Il dataset rimane residente
Tra un'esecuzione e l'altra il working set resta su NVMe locale, 2 TB su una H100 SXM e 1 TB su una A100, quindi la seconda sweep parte al primo passo invece che da un download.
Il calcolo del punto di pareggio rispetto a un consumo a consumo spetta a noleggio GPU mensile vs orario, e vale la pena leggerlo prima di sottoscrivere un abbonamento. Ciò che è specifico dell'addestramento è che anche le sweep e i ricaricamenti contano come ore GPU, quindi il dato di utilizzo con cui testare il crossover è la quindicina di giorni, non la singola esecuzione.
Dove vanno i checkpoint e cosa sopravvive alla fine di un abbonamento?
Un checkpoint di un 70B con stato dell'ottimizzatore supera il terabyte. Decidi dove atterrerà prima del passo 4,000.
- NVMe locale
- Incluso: 2 TB su H100 SXM e H200, 1 TB su A100 SXM, 500 GB su L40S e A6000. Crittografato LUKS2 per istanza, cancellato sette giorni dopo la fine del termine.
- NVMe locale aggiuntivo
- $9 per TB al mese, fino a 30 TB su un nodo. Stesso host, stessa crittografia.
- Volume di rete
- $14 per TB al mese, triplicato nella regione, collegabile a più istanze, persistente dopo il rilascio.
- Snapshot
- $6 per TB al mese. Ripristinabile su qualsiasi istanza nella regione, ed è così che un'esecuzione si sposta da una A100 a una H100 senza ricaricare il dataset.
- Scaricarlo
- 20 TB di traffico in uscita inclusi per istanza al mese, poi $4 per TB. Un set di adattatori non sfiora mai quel limite.
Se l'esecuzione dura più del termine
Un ordine di rinnovo viene emesso 24 ore prima allo stesso prezzo. Se non lo paghi, l'istanza si ferma alla fine del termine, con lo slot trattenuto per 72 ore mentre lo paghi in BTC, ETH, USDT, USDC, XMR, SOL o LTC. Il disco non viene toccato. Dopodiché lo slot viene rilasciato e la chiave NVMe distrutta.
L'hardware si trova in DFW-1, IAD-1 e PDX-1. Un account è un nome utente e una password: vedi hosting GPU senza KYC e come pagare con criptovalute.
Quando non dovresti noleggiare una GPU per fine-tuning da noi?
Tre casi, abbastanza comuni da volerli mettere per iscritto.
Il secondo è l'acquisto eccessivo della scheda. Molti noleggiano una H100 per fare fine-tuning su un 7B con QLoRA, che richiede 10 GB. Quel lavoro gira su una RTX A5000 da $190, più lenta, ma non nove volte più lenta. Dimensiona dalla tabella nella sezione 02, non dal modello che vorresti addestrare.
Il terzo è un'esecuzione che richiede 32 o 64 schede per due giorni e mai più. Vendiamo nodi fino a otto schede; oltre, un provider di cluster a consumo si adatta meglio.
Noleggia a ore se
Il tuo totale è sotto circa 480-680 ore GPU al mese, che è dove $1,690 per un mese di H100 SXM incontra un contatore indicativo tra $2.49 e $3.49, oppure vuoi un'ora ciascuna su una A100 SXM e una H100 SXM per cronometrare il tuo passo.
Noleggia a termine se
L'esecuzione si misura in settimane, ricaricare il dataset è un problema, sei già stato revocato da capacità spot una volta, oppure vuoi pagare in criptovalute senza un controllo di identità.
Noleggio di una GPU per il fine-tuning, domande poste in modo semplice.
Quanta VRAM mi serve per fare fine-tuning su un modello 7B?
Posso fare fine-tuning su un modello 70B con una sola GPU?
Qual è la differenza tra LoRA e QLoRA in termini di memoria GPU?
Ho bisogno di NVLink per fare fine-tuning su più GPU?
Quanto costa noleggiare una GPU per l'addestramento al mese?
Cosa succede ai miei checkpoint alla fine del termine?
Posso noleggiare una GPU per l'addestramento senza verifica dell'identità?
Il noleggio mensile di GPU è migliore di quello orario per un addestramento?
Dimensionamento nella guida VRAM GPU, topologie nel noleggio cluster multi-GPU, servire il risultato in GPU per inferenza LLM, immagini nella documentazione.
Dimensiona la scheda, scegli il termine, avvia l'esecuzione.
QLoRA su 24 GB da $190 al mese, una NVLink H100 SXM da $1,690, un nodo a 8 vie da $12,170. Un ordine, un pagamento, nessun documento, nessuna carta.