GPU Rent HubGPU pour le fine-tuning

Louez un GPU pour le fine-tuning, dimensionné selon des calculs que vous pouvez vérifier.

GPU Rent Hub loue des GPU dédiés NVIDIA et AMD pour le fine-tuning à la semaine ou au mois, à partir de 190 $ par mois pour une carte de 24 GB qui exécute QLoRA sur un modèle 7B jusqu’à 12 170 $ par mois pour un nœud 8× H100 SXM connecté en NVLink, payables en Bitcoin, Ethereum, USDT, USDC, Monero, Solana ou Litecoin sans vérification d’identité.

Mis à jour 2026-09-01

112 GBFine-tuning complet 7B, Adam, avant activations

10 GBMême modèle sous QLoRA

900 GB/sNVLink sur H100 SXM et H200

72 hDélai de grâce pour un renouvellement impayé

01 Définition

Combien de mémoire GPU le fine-tuning nécessite-t-il réellement ?

C’est la partie que les gens se trompent, et c’est la seule qui détermine quelle carte vous louez.

Mémoire de fine-tuning en un paragraphe. Un fine-tuning complet avec l’optimiseur Adam coûte environ 16 octets par paramètre : 2 pour les poids BF16, 2 pour les gradients, 4 pour la copie maîtresse FP32 et 4 chacun pour les deux moments d’Adam. Un modèle 7B nécessite donc environ 112 GB avant qu’une seule activation ne soit stockée, ce qui ne tient pas sur une carte de 24 GB ni sur une carte de 80 GB. LoRA gèle les poids de base et entraîne de petites matrices d’adaptateurs, donc la facture tombe à la base gelée à 2 octets par paramètre plus quelques centaines de mégaoctets d’adaptateurs et d’état d’optimiseur : environ 21 GB pour un 7B. QLoRA quantifie cette base gelée sur 4 bits, 0,5 octet par paramètre, et entraîne les mêmes adaptateurs : environ 10 GB pour un 7B et environ 51 GB pour un 70B.

Ces trois chiffres, et tous ceux du tableau ci-dessous, proviennent du guide VRAM GPU, selon ses hypothèses : gradient checkpointing activé, longueur de séquence 2 048, batch 1, adaptateurs de rang 16 à environ 0,5 % des paramètres, et une marge pour les frais généraux d’exécution déjà incluse. Augmentez la longueur de séquence ou le batch et les activations augmentent en plus.

D’où viennent les 16

Rien dans une boucle d’entraînement ne stocke le modèle une seule fois. Les poids, un gradient de même forme, une copie maîtresse FP32, et la moyenne et la variance d’Adam par paramètre. Aucun framework ne négocie cela.

Ce que LoRA supprime

Le gradient et les deux états de l’optimiseur, pour tout sauf les adaptateurs. La base gelée doit toujours être résidente, c’est pourquoi LoRA sur un 7B en BF16 fait encore 14 GB avant toute autre chose. QLoRA attaque la résidence, pas l’optimiseur.

02 Dimensionnement

Quel GPU me faut-il pour fine-tuner un modèle 7B, 13B ou 70B ?

Modèle contre méthode contre une carte qui le contient, avec la VRAM citée du guide VRAM. Le tarif par GPU-heure est le mensuel divisé par 720.

Modèle et méthode	VRAM nécessaire	Carte qui convient	VRAM de la carte	Hebdomadaire	Mensuel	Par GPU-heure
7B, QLoRAbase 4 bits, rang 16	10 GB	RTX A5000	24 GB	$55	$190/mo	$0.26
13B, QLoRAbase 4 bits	14 GB	RTX 3090	24 GB	$65	$230/mo	$0.32
7B, LoRAbase BF16 maintenue résidente	21 GB	RTX 4090	24 GB	$110	$390/mo	$0.54
34B, QLoRAbase 4 bits	28 GB	A40	48 GB	$68	$240/mo	$0.33
13B, LoRAbase BF16	33 GB	L40S	48 GB	$148	$520/mo	$0.72
70B, QLoRA35 GB de poids 4 bits	51 GB	A100 SXM	80 GB	$280	$990/mo	$1.38
34B, LoRAbase BF16, une carte	79 GB	MI300X	192 GB	$450	$1,590/mo	$2.21
7B, fine-tuning completAdam, 16 octets par paramètre	129 GB	2× A100 SXMNVLink 600 GB/s, le chemin CUDA le moins cher	160 GB	$532	$1,881/mo	$1.31
70B, LoRAbase BF16, une carte	156 GB	1× MI300Xpas de sharding nécessaire	192 GB	$450	$1,590/mo	$2.21
70B, fine-tuning completZeRO-3 sur le nœud	1,288 GB	8× MI300XInfinity Fabric 896 GB/s	1,536 GB	$3,240	$11,450/mo	$1.99

La VRAM nécessaire est le chiffre que le guide VRAM GPU dérive pour ce modèle et cette méthode, à une longueur de séquence de 2 048 et un batch de 1, avec le gradient checkpointing activé et la marge pour frais généraux d’exécution déjà incluse. Le prix à deux cartes inclut la remise multi-GPU de 5 % ; le chiffre à huit cartes est le prix du nœud. Le tarif par GPU-heure est le total mensuel divisé par 720 heures et par le nombre de cartes. Les deux lignes MI300X concernent uniquement DFW-1 Dallas et fonctionnent sous ROCm plutôt que CUDA. Ce sont les cartes sur lesquelles nous exécuterions le travail ; la recherche du guide VRAM nomme la carte la moins chère qui le contient simplement, donc une ligne ici est parfois la carte la plus chère. Deux lignes divergent et chacune a une raison. La ligne 7B LoRA choisit une RTX 4090 plutôt que la RTX A5000 du guide à la même capacité de 24 GB parce que 1 008 GB/s de bande passante contre 768 raccourcit chaque étape. La ligne 7B fine-tuning complet choisit deux A100 SXM comme le chemin CUDA et NVLink le moins cher, alors qu’une seule MI300X de 192 GB contient les mêmes 129 GB pour 1 590 $ par mois sous ROCm. Caractéristiques sur le catalogue GPU.

Lisez la ligne huit face à la ligne six. Un fine-tuning complet d’un 7B coûte environ deux fois ce que coûte QLoRA sur un 70B. Pour la plupart des gens, ce n’est pas le travail dont ils ont besoin.

03 Le choix

Quel GPU devriez-vous louer pour l’entraînement, si vous deviez n’en choisir qu’un ?

Trié par ce que nous déploierions pour une exécution de plusieurs semaines, pas par prix. Le stock est réparti entre DFW-1 Dallas, IAD-1 Ashburn et PDX-1 Hillsboro.

GPU	VRAM	Interconnexion	Hebdomadaire	Mensuel	Par GPU-heure	Disponibles maintenant
H100 SXM ChoixHBM3, 3.35 TB/s, FP8	80 GB	NVLink 900 GB/s	$475	$1,690/mo	$2.35	63
A100 SXMHBM2e, 2.04 TB/s, pas de FP8	80 GB	NVLink 600 GB/s	$280	$990/mo	$1.38	78
H200 SXMHBM3e, 4.8 TB/s	141 GB	NVLink 900 GB/s	$640	$2,290/mo	$3.18	19
MI300XROCm 6.4, 5.3 TB/s	192 GB	Infinity Fabric 896 GB/s	$450	$1,590/mo	$2.21	8
L40SGDDR6 ECC, FP8	48 GB	PCIe Gen4 peer-to-peer	$148	$520/mo	$0.72	74
RTX A6000GDDR6 ECC, 768 GB/s	48 GB	NVLink bridge 112 GB/s, paires	$82	$290/mo	$0.40	65
RTX 3090GDDR6X, 936 GB/s	24 GB	NVLink bridge 112 GB/s, paires	$65	$230/mo	$0.32	186
RTX A5000GDDR6 ECC, 230 W	24 GB	NVLink bridge 112 GB/s, paires	$55	$190/mo	$0.26	51

Les disponibilités sont les cartes non réservées sur les trois sites à la dernière mise à jour du catalogue. Chaque prix inclut l’alimentation, le refroidissement, une liaison montante 100G avec une garantie 10G, IPv4 et IPv6, et 20 TB de trafic sortant par mois. Les remises multi-cartes et prépayées figurent sur la page tarifs.

La H100 SXM est le choix : la carte la moins chère que nous louons qui réunit 80 GB de HBM3, des cœurs tensoriels FP8 et 900 GB/s de NVLink sur une seule référence. La A100 SXM 80 GB est la réponse économique à 990 $, sans FP8, même topologie NVLink, 59 % du prix.

04 Interconnexion

Pourquoi NVLink compte-t-il au-delà d’une carte ?

Parce qu’une exécution fragmentée déplace des gradients entre les cartes à chaque étape, et le lien est le plancher de la vitesse à laquelle cela se produit.

Sur un seul GPU, l’interconnexion n’a pas d’importance. Dès que vous fragmentez, avec ZeRO-2, ZeRO-3 ou le parallélisme tensoriel, les cartes échangent des gradients ou des fragments de paramètres à chaque étape, et ce trafic est un multiple fixe de la taille du modèle. PCIe Gen4 x16 a un débit de ligne d’environ 32 GB/s dans une direction, et Gen5 environ 63. NVLink sur une H100 SXM est de 900 GB/s. C’est la différence entre une étape de communication qui se cache derrière le calcul et une qui devient l’étape.

La règle : LoRA ou QLoRA sur une seule carte fonctionne sur n’importe quoi avec assez de VRAM, l’entraînement en parallélisme de données tolère PCIe, et tout ce qui fragmente un modèle veut du NVLink. Au-delà de quatre cartes, il veut du NVSwitch, que portent les nœuds HGX 8 voies de la page location de cluster multi-GPU.

Les RTX 4090 et RTX 5090 n’ont pas de NVLink. NVIDIA l’a retiré de la gamme grand public après Ampere. Ce sont de solides GPU d’entraînement sur une seule carte et une vraie contrainte au-delà d’une carte, et nous préférons le dire ici plutôt qu’après que vous en ayez acheté huit.

Les A6000, A40, RTX 3090 et RTX A5000 acceptent un pont NVLink, mais seulement par paires et seulement à 112 GB/s. Utile pour regrouper deux cartes de 48 GB en 96 GB. Ce n’est pas un fabric.

Carte	Lien entre cartes	Bande passante	Entraînement fragmenté
B2002, 4 ou 8 voies	NVLink 5 avec NVSwitch	1.8 TB/s	Oui, jusqu’à 8 cartes
H100 SXM, H200 SXM	NVLink avec NVSwitch	900 GB/s	Oui, jusqu’à 8 cartes
A100 SXM	NVLink avec NVSwitch	600 GB/s	Oui, jusqu’à 8 cartes
MI300X	Infinity Fabric	896 GB/s	Oui, 8 voies uniquement
H100 PCIe	Pont NVLink en option	600 GB/s	Paires
A6000, A40, 3090, A5000	Pont NVLink	112 GB/s	Paires
L40S, RTX 6000 Ada, L4	PCIe Gen4 peer-to-peer	~32 GB/s	Parallélisme de données uniquement
RTX 4090, RTX 5090	PCIe peer-to-peer, pas de NVLink	~32 / ~63 GB/sGen4 x16 / Gen5 x16	Carte unique

Bande passante de lien agrégée par GPU telle que publiée par le fournisseur. Les chiffres PCIe sont des débits de ligne pour un lien x16 dans une direction, Gen4 sur la 4090 et Gen5 sur la 5090, pas un débit mesuré, qui est plus bas.

05 Durée

Pourquoi une durée mensuelle est-elle la bonne forme pour une exécution d’entraînement ?

Un fine-tuning est la charge de travail où le modèle de facturation et le travail s’accordent l’un avec l’autre.

La cadence des checkpoints vous appartient

Sur une capacité préemptible, vous créez des checkpoints de manière défensive, car l’intervalle est une couverture contre l’éviction. Sur une durée, c’est une décision de récupération : écrivez tous les mille pas si la courbe de perte le mérite, ou tous les dix mille.

2 TB de NVMe local sur une H100 SXM

Un fine-tuning est rarement une seule exécution

Un balayage de taux d’apprentissage, une ablation de données et une nouvelle exécution après une évaluation décevante sont trois exécutions de plus, réparties sur une quinzaine plutôt qu’en une seule réservation. Chacune ne coûte rien de plus sur une durée forfaitaire.

Même carte, même environnement, pas de reprovisionnement

Elle ne peut pas être évincée

Une éviction à l’heure 60 coûte l’écart depuis le dernier checkpoint, l’attente de remise en file et le rechargement du jeu de données. Une durée ne peut pas être préemptée, car personne d’autre n’est en file pour la carte.

Bare metal mono-locataire, accès root

Le jeu de données reste résident

Entre les exécutions, l’ensemble de travail reste sur le NVMe local, 2 TB sur une H100 SXM et 1 TB sur une A100, donc le deuxième balayage démarre à la première étape plutôt qu’à un téléchargement.

Pas de démarrage à froid après le premier

Le calcul de croisement avec un compteur appartient à location GPU mensuelle contre horaire, et il vaut la peine d’être lu avant de prendre une durée. Ce qui est spécifique à l’entraînement, c’est que les balayages et les rechargements comptent aussi comme des GPU-heures, donc le chiffre d’utilisation avec lequel vous devriez tester le croisement est la quinzaine, pas l’exécution unique.

06 Checkpoints

Où vont les checkpoints, et qu’est-ce qui survit à la fin d’une durée ?

Un checkpoint 70B avec état d’optimiseur pèse plus d’un téraoctet. Décidez où il atterrit avant l’étape 4 000.

NVMe local: Inclus : 2 TB sur H100 SXM et H200, 1 TB sur A100 SXM, 500 GB sur L40S et A6000. Chiffré LUKS2 par instance, effacé sept jours après la fin de la durée.
NVMe local supplémentaire: 9 $ par TB et par mois, jusqu’à 30 TB sur un nœud. Même hôte, même chiffrement.
Volume réseau: 14 $ par TB et par mois, répliqué trois fois dans la région, attachable à plusieurs instances, persistant après libération.
Snapshots: 6 $ par TB et par mois. Restaurable vers n’importe quelle instance de la région, ce qui permet de déplacer une exécution d’une A100 vers une H100 sans re-télécharger le jeu de données.
Le sortir: 20 TB de trafic sortant inclus par instance et par mois, puis 4 $ par TB. Un ensemble d’adaptateurs n’atteint jamais cette limite.

Si l’exécution survit à la durée

Une commande de renouvellement est émise 24 heures à l’avance au même prix. Laissez-la impayée et l’instance s’arrête à la fin de la durée, avec le créneau conservé pendant 72 heures pendant que vous la payez en BTC, ETH, USDT, USDC, XMR, SOL ou LTC. Le disque n’est pas touché. Ensuite, le créneau est libéré et la clé NVMe détruite.

Écrivez chaque checkpoint deux fois : sur le NVMe local pour la vitesse, sur un volume réseau pour la survie. Le volume est la seule copie qui survit à la durée.

BTCETHUSDTUSDCXMRSOLLTC

Le matériel se trouve dans les centres DFW-1, IAD-1 et PDX-1. Un compte est un nom d’utilisateur et un mot de passe : voir hébergement GPU sans KYC et comment payer en crypto.

07 Honnêteté

Quand ne devriez-vous pas louer un GPU de fine-tuning chez nous ?

Trois cas, assez fréquents pour que nous préférions les écrire.

Si le travail est une expérience qui dure six heures, utilisez un fournisseur horaire. Notre durée la plus courte est de sept jours. Un mois de H100 SXM pour un après-midi de QLoRA coûte 1 690 $, et vous utilisez environ 18 $ des 1 690 $ payés.

Le deuxième est de sur-acheter la carte. Beaucoup de gens louent une H100 pour fine-tuner un 7B avec QLoRA, ce qui nécessite 10 GB. Ce travail s’exécute sur une RTX A5000 à 190 $, plus lente, mais pas neuf fois plus lente. Dimensionnez à partir du tableau de la section 02, pas du modèle que vous auriez aimé entraîner.

Le troisième est une exécution nécessitant 32 ou 64 cartes pendant deux jours et jamais plus. Nous vendons des nœuds jusqu’à huit cartes ; au-delà, un fournisseur de cluster facturé à l’usage convient mieux.

Louez à l’heure si

Votre total est inférieur à environ 480 à 680 GPU-heures par mois, ce qui est le point où 1 690 $ pour un mois de H100 SXM rencontre un compteur illustratif de 2,49 $ à 3,49 $, ou vous voulez une heure sur une A100 SXM et une H100 SXM pour chronométrer votre étape.

Louez une durée si

L’exécution se mesure en semaines, re-télécharger le jeu de données fait mal, vous avez déjà été évincé d’une capacité spot une fois, ou vous voulez payer en crypto sans vérification d’identité.

08 Questions

Louer un GPU pour le fine-tuning, demandé simplement.

Combien de VRAM me faut-il pour fine-tuner un modèle 7B ?

Environ 10 GB sous QLoRA, 21 GB sous LoRA sur une base BF16, et 129 GB pour un fine-tuning complet avec Adam une fois les activations comptées, ou 112 GB pour les poids, les gradients et l’état de l’optimiseur seuls. Les deux premiers tiennent sur une carte de 24 GB, donc une RTX A5000 à 190 $ par mois. Pour le troisième, deux cartes de 80 GB avec NVLink à 1 881 $ par mois est le chemin CUDA le moins cher, et une seule MI300X de 192 GB à 1 590 $ contient les mêmes 129 GB pour moins cher si une pile ROCm vous convient. Chiffres tirés du guide VRAM GPU.

Puis-je fine-tuner un modèle 70B sur un seul GPU ?

Sous QLoRA, oui. Une base 70B en 4 bits représente environ 35 GB de poids et 51 GB avec les adaptateurs, l’état de l’optimiseur et les frais généraux, ce qui tient sur une A100 SXM 80 GB à 990 $ par mois. LoRA sur une base 70B en BF16 nécessite 156 GB, ce qui reste une seule carte s’il s’agit d’une MI300X de 192 GB à 1 590 $. Un fine-tuning complet de 70B nécessite environ 1 288 GB et prend un nœud.

Quelle est la différence entre LoRA et QLoRA en mémoire GPU ?

LoRA gèle les poids de base en BF16, 2 octets par paramètre, et entraîne de petites matrices d’adaptateurs, donc l’état de l’optimiseur est de quelques centaines de mégaoctets plutôt que des dizaines de gigaoctets. QLoRA quantifie cette base gelée sur 4 bits, 0,5 octet par paramètre. Sur un modèle 7B, c’est 21 GB contre 10 GB.

Ai-je besoin de NVLink pour fine-tuner sur plusieurs GPU ?

Pas pour une seule carte, ni pour les exécutions en parallélisme de données sur de petits modèles. Cela compte lorsque des gradients ou des fragments de paramètres traversent les cartes à chaque étape. Les H100 SXM et H200 portent 900 GB/s, l’A100 SXM 600 GB/s, le B200 1,8 TB/s. Les RTX 4090 et RTX 5090 n’ont pas de NVLink, donc nous ne les recommandons pas pour l’entraînement fragmenté.

Combien coûte la location d’un GPU pour l’entraînement par mois ?

Une A100 SXM 80 GB coûte 990 $ par mois, soit 1,38 $ par GPU-heure sur une durée de 720 heures. Une H100 SXM coûte 1 690 $, soit 2,35 $. Un nœud H100 SXM à huit cartes avec NVSwitch coûte 12 170 $, soit 2,11 $. Une carte de 24 GB pour QLoRA démarre à 190 $, et chaque carte est disponible à la semaine.

Qu’arrive-t-il à mes checkpoints à la fin de la durée ?

Le NVMe local est effacé sept jours après la fin de la durée et sa clé de chiffrement est détruite, donc tout ce que vous voulez conserver doit être sur un volume réseau à 14 $ par TB et par mois, répliqué trois fois dans la région et persistant après la libération de l’instance. Vous pouvez aussi le sortir via les 20 TB de trafic sortant inclus chaque mois.

Puis-je louer un GPU d’entraînement sans vérification d’identité ?

Oui. Un compte est un nom d’utilisateur et un mot de passe. Pas d’adresse e-mail, pas de numéro de téléphone, pas de pièce d’identité, pas de carte enregistrée. Vous payez la durée par un seul transfert en BTC, ETH, USDT, USDC, XMR, SOL ou LTC. Aucun agent ne s’exécute dans votre instance et personne ici ne lit votre jeu de données.

La location mensuelle de GPU est-elle meilleure que l’horaire pour une exécution d’entraînement ?

Pour une exécution mesurée en semaines, oui. Un fine-tuning occupe la carte presque tout le temps, ce qui est là où une durée forfaitaire gagne : 2,35 $ par GPU-heure sur une H100 SXM contre 2,49 $ à 3,49 $ de l’heure, une fourchette illustrative des fournisseurs à la demande aux États-Unis plutôt qu’un devis d’un vendeur nommé, sans éviction ni file d’attente. Pour un après-midi, utilisez un fournisseur horaire.

Dimensionnement sur le guide VRAM GPU, topologies sur location de cluster multi-GPU, servir le résultat sur GPU pour inférence LLM, images dans la documentation.

Dimensionnez la carte, prenez la durée, démarrez l’exécution.

QLoRA sur 24 GB à partir de 190 $ par mois, une H100 SXM NVLink à partir de 1 690 $, un nœud 8 voies à partir de 12 170 $. Une commande, un paiement, sans pièce d’identité, sans carte.

Créer un compte →