Wynajmij GPU do dostrajania, dobrane według arytmetyki, którą możesz sprawdzić.
GPU Rent Hub wynajmuje dedykowane GPU NVIDIA i AMD do dostrajania na tydzień lub miesiąc, od 190 USD miesięcznie za kartę 24 GB, która uruchamia QLoRA na modelu 7B, do 12 170 USD miesięcznie za węzeł 8× H100 SXM z połączeniem NVLink, płatne w Bitcoin, Ethereum, USDT, USDC, Monero, Solana lub Litecoin bez weryfikacji tożsamości.
Ile pamięci GPU naprawdę potrzebuje dostrajanie?
To jest część, którą ludzie często mylą, i jedyna część, która decyduje o tym, którą kartę wynajmiesz.
Pamięć dostrajania w jednym akapicie. Pełne dostrajanie z optymalizatorem Adam kosztuje około 16 bajtów na parametr: 2 dla wag BF16, 2 dla gradientów, 4 dla kopii głównej FP32 i po 4 dla dwóch stanów momentów Adama. Model 7B potrzebuje zatem około 112 GB, zanim zapisana zostanie pojedyncza aktywacja, co nie mieści się na karcie 24 GB ani na karcie 80 GB. LoRA zamraża wagi bazowe i trenuje małe macierze adapterów, więc rachunek spada do zamrożonej bazy w 2 bajtach na parametr plus kilkaset megabajtów stanu adaptera i optymalizatora: około 21 GB dla 7B. QLoRA kwantyzuje tę zamrożoną bazę do 4 bitów, 0,5 bajta na parametr, i trenuje te same adaptery: około 10 GB dla 7B i około 51 GB dla 70B.
Te trzy wartości i każda w poniższej tabeli pochodzą z przewodnika GPU VRAM, przy jego założeniach: włączony gradient checkpointing, długość sekwencji 2,048, batch 1, adaptery rangi 16 przy około 0,5% parametrów oraz już uwzględniony zapas na narzut środowiska uruchomieniowego. Zwiększ długość sekwencji lub batch, a aktywacje rosną dodatkowo.
Skąd się bierze 16
Nic w pętli treningowej nie przechowuje modelu jednokrotnie. Wagi, gradient o tym samym kształcie, kopia główna FP32 oraz średnia i wariancja Adama na każdy parametr. Żaden framework tego nie negocjuje.
Co usuwa LoRA
Gradient i oba stany optymalizatora, dla wszystkiego oprócz adapterów. Zamrożona baza nadal musi być rezydentna, dlatego LoRA na BF16 7B to wciąż 14 GB przed czymkolwiek innym. QLoRA atakuje rezydentność, nie optymalizator.
Jakiej karty GPU potrzebuję, aby dostroić model 7B, 13B lub 70B?
Model, metoda i karta, która go pomieści, z wartościami VRAM z przewodnika VRAM. Stawka za GPU-godzinę to opłata miesięczna podzielona przez 720.
| Model i metoda | Wymagana VRAM | Pasująca karta | VRAM karty | Tygodniowo | Miesięcznie | Za GPU-godzinę |
|---|---|---|---|---|---|---|
| 7B, QLoRAbaza 4-bitowa, ranga 16 | 10 GB | RTX A5000 | 24 GB | $55 | $190/mies. | $0.26 |
| 13B, QLoRAbaza 4-bitowa | 14 GB | RTX 3090 | 24 GB | $65 | $230/mies. | $0.32 |
| 7B, LoRAbaza BF16 trzymana rezydentnie | 21 GB | RTX 4090 | 24 GB | $110 | $390/mies. | $0.54 |
| 34B, QLoRAbaza 4-bitowa | 28 GB | A40 | 48 GB | $68 | $240/mies. | $0.33 |
| 13B, LoRAbaza BF16 | 33 GB | L40S | 48 GB | $148 | $520/mies. | $0.72 |
| 70B, QLoRA35 GB wag 4-bitowych | 51 GB | A100 SXM | 80 GB | $280 | $990/mies. | $1.38 |
| 34B, LoRAbaza BF16, jedna karta | 79 GB | MI300X | 192 GB | $450 | $1,590/mies. | $2.21 |
| 7B, pełne dostrajanieAdam, 16 bajtów na parametr | 129 GB | 2× A100 SXMNVLink 600 GB/s, najtańsza ścieżka CUDA | 160 GB | $532 | $1,881/mies. | $1.31 |
| 70B, LoRAbaza BF16, jedna karta | 156 GB | 1× MI300Xbez potrzeby shardingu | 192 GB | $450 | $1,590/mies. | $2.21 |
| 70B, pełne dostrajanieZeRO-3 w całym węźle | 1,288 GB | 8× MI300XInfinity Fabric 896 GB/s | 1,536 GB | $3,240 | $11,450/mies. | $1.99 |
Porównaj wiersz ósmy z szóstym. Pełne dostrajanie 7B kosztuje około dwa razy tyle, co QLoRA na 70B. Dla większości osób to nie jest zadanie, którego potrzebują.
Którą kartę GPU wynająć do trenowania, gdyby trzeba było wybrać jedną?
Posortowane według tego, co wdrożylibyśmy do wielotygodniowego przebiegu, a nie według ceny. Dostępność obejmuje DFW-1 Dallas, IAD-1 Ashburn i PDX-1 Hillsboro.
| GPU | VRAM | Interkonekt | Tygodniowo | Miesięcznie | Za GPU-godzinę | Wolne teraz |
|---|---|---|---|---|---|---|
| H100 SXM WybórHBM3, 3.35 TB/s, FP8 | 80 GB | NVLink 900 GB/s | $475 | $1,690/mies. | $2.35 | 63 |
| A100 SXMHBM2e, 2.04 TB/s, bez FP8 | 80 GB | NVLink 600 GB/s | $280 | $990/mies. | $1.38 | 78 |
| H200 SXMHBM3e, 4.8 TB/s | 141 GB | NVLink 900 GB/s | $640 | $2,290/mies. | $3.18 | 19 |
| MI300XROCm 6.4, 5.3 TB/s | 192 GB | Infinity Fabric 896 GB/s | $450 | $1,590/mies. | $2.21 | 8 |
| L40SGDDR6 ECC, FP8 | 48 GB | PCIe Gen4 peer-to-peer | $148 | $520/mies. | $0.72 | 74 |
| RTX A6000GDDR6 ECC, 768 GB/s | 48 GB | mostek NVLink 112 GB/s, pary | $82 | $290/mies. | $0.40 | 65 |
| RTX 3090GDDR6X, 936 GB/s | 24 GB | mostek NVLink 112 GB/s, pary | $65 | $230/mies. | $0.32 | 186 |
| RTX A5000GDDR6 ECC, 230 W | 24 GB | mostek NVLink 112 GB/s, pary | $55 | $190/mies. | $0.26 | 51 |
H100 SXM to wybór: najtańsza wynajmowana przez nas karta, która łączy 80 GB HBM3, rdzenie tensorowe FP8 i 900 GB/s NVLink w jednym numerze katalogowym. A100 SXM 80 GB to odpowiedź cenowa za $990, bez FP8, ta sama topologia NVLink, 59% ceny.
Dlaczego NVLink ma znaczenie powyżej jednej karty?
Ponieważ przebieg shardowany przenosi gradienty między kartami w każdym kroku, a łącze stanowi dolną granicę szybkości tego procesu.
Na jednym GPU interkonekt nie ma znaczenia. W momencie shardingu — przez ZeRO-2, ZeRO-3 lub równoległość tensorową — karty wymieniają gradienty lub fragmenty parametrów w każdym kroku, a ten ruch to stała wielokrotność rozmiaru modelu. PCIe Gen4 x16 ma przepustowość liniową około 32 GB/s w jednym kierunku, a Gen5 około 63. NVLink na H100 SXM to 900 GB/s. To różnica między krokiem komunikacji ukrytym za obliczeniami a krokiem, który staje się całym krokiem.
Zasada: LoRA lub QLoRA na jednej karcie działa na wszystkim z wystarczającą VRAM, trening data-parallel toleruje PCIe, a wszystko, co sharduje model, wymaga NVLink. Powyżej czterech kart wymaga NVSwitch, który mają 8-kierunkowe węzły HGX na stronie wynajmu klastrów multi-GPU.
| Karta | Łącze między kartami | Przepustowość | Trening shardowany |
|---|---|---|---|
| B2002, 4 lub 8-way | NVLink 5 z NVSwitch | 1.8 TB/s | Tak, do 8 kart |
| H100 SXM, H200 SXM | NVLink z NVSwitch | 900 GB/s | Tak, do 8 kart |
| A100 SXM | NVLink z NVSwitch | 600 GB/s | Tak, do 8 kart |
| MI300X | Infinity Fabric | 896 GB/s | Tak, tylko 8-way |
| H100 PCIe | Opcjonalny mostek NVLink | 600 GB/s | Pary |
| A6000, A40, 3090, A5000 | Mostek NVLink | 112 GB/s | Pary |
| L40S, RTX 6000 Ada, L4 | PCIe Gen4 peer-to-peer | ~32 GB/s | Tylko data-parallel |
| RTX 4090, RTX 5090 | PCIe peer-to-peer, bez NVLink | ~32 / ~63 GB/sGen4 x16 / Gen5 x16 | Jedna karta |
Dlaczego okres miesięczny to właściwy kształt dla przebiegu treningowego?
Dostrajanie to obciążenie, w którym model rozliczeń i zadanie zgadzają się ze sobą.
Rytm checkpointów należy do Ciebie
Na pojemności z wywłaszczaniem zapisujesz checkpointy defensywnie, bo interwał to zabezpieczenie przed eksmisją. W okresie terminowym to decyzja o odzyskiwaniu: zapisuj co tysiąc kroków, jeśli krzywa straty na to zasługuje, albo co dziesięć tysięcy.
Dostrajanie to rzadko jeden przebieg
Przegląd szybkości uczenia, ablacja danych i ponowny przebieg po rozczarowującej ewaluacji to trzy kolejne przebiegi, pojawiające się w ciągu dwóch tygodni, a nie w jednej rezerwacji. Każdy z nich nie kosztuje nic dodatkowo przy stałym okresie.
Nie grozi mu eksmisja
Eksmisja w 60. godzinie kosztuje lukę od ostatniego checkpointu, czas oczekiwania w kolejce i ponowne wczytanie zbioru danych. Okres terminowy nie może zostać wywłaszczony, ponieważ nikt inny nie czeka w kolejce na kartę.
Zbiór danych pozostaje rezydentny
Między przebiegami zbiór roboczy leży na lokalnym NVMe — 2 TB na H100 SXM i 1 TB na A100 — więc drugi przegląd zaczyna się od pierwszego kroku, a nie od pobierania.
Arytmetyka progu opłacalności względem licznika godzinowego należy do wynajmu GPU miesięcznego kontra godzinowego i warto ją przeczytać przed podjęciem okresu. Specyficzne dla treningu jest to, że przeglądy i ponowne wczytywania również liczą się jako GPU-godziny, więc wskaźnik wykorzystania, którym należy testować próg, to dwa tygodnie, a nie pojedynczy przebieg.
Gdzie trafiają checkpointy i co przetrwa koniec okresu?
Checkpoint modelu 70B ze stanem optymalizatora to ponad terabajt. Zdecyduj, gdzie wyląduje, zanim nadejdzie krok 4,000.
- Lokalne NVMe
- W cenie: 2 TB na H100 SXM i H200, 1 TB na A100 SXM, 500 GB na L40S i A6000. Szyfrowane LUKS2 dla każdej instancji, czyszczone siedem dni po zakończeniu okresu.
- Dodatkowe lokalne NVMe
- $9 za TB miesięcznie, do 30 TB na węźle. Ten sam host, to samo szyfrowanie.
- Wolumen sieciowy
- $14 za TB miesięcznie, potrójna replikacja w regionie, możliwość podłączenia do kilku instancji, trwały po zwolnieniu.
- Migawki
- $6 za TB miesięcznie. Można przywrócić do dowolnej instancji w regionie — tak właśnie przebieg przenosi się z A100 na H100 bez ponownego przesyłania zbioru danych.
- Wyciąganie danych
- 20 TB transferu wychodzącego w cenie na instancję miesięcznie, potem $4 za TB. Zestaw adapterów nigdy nie zbliża się do tego limitu.
Jeśli przebieg przeżyje okres
Zamówienie odnowienia jest wystawiane 24 godziny wcześniej w tej samej cenie. Pozostaw je nieopłacone, a instancja zatrzyma się na koniec okresu, przy czym slot jest utrzymywany przez 72 godziny, podczas gdy płacisz w BTC, ETH, USDT, USDC, XMR, SOL lub LTC. Dysk pozostaje nietknięty. Po tym czasie slot jest zwalniany, a klucz NVMe niszczony.
Sprzęt znajduje się w DFW-1, IAD-1 i PDX-1. Konto to nazwa użytkownika i hasło: zobacz hosting GPU bez KYC i jak płacić kryptowalutą.
Kiedy nie powinieneś wynajmować u nas GPU do dostrajania?
Trzy przypadki, na tyle częste, że wolimy je zapisać.
Drugi to przepłacanie za kartę. Wiele osób wynajmuje H100, aby dostroić 7B za pomocą QLoRA, które potrzebuje 10 GB. To zadanie działa na karcie RTX A5000 za $190 — wolniej, ale nie dziewięć razy wolniej. Dobieraj rozmiar z tabeli w sekcji 02, a nie od modelu, który chciałbyś trenować.
Trzeci to przebieg wymagający 32 lub 64 kart na dwa dni i nigdy więcej. Sprzedajemy węzły do ośmiu kart; powyżej tego lepiej pasuje dostawca klastra z rozliczeniem godzinowym.
Wynajmij na godziny, jeśli
Twoje łączne zużycie wynosi poniżej około 480 do 680 GPU-godzin miesięcznie, czyli tam, gdzie $1,690 za miesiąc H100 SXM spotyka się z ilustracyjną stawką od $2.49 do $3.49, albo chcesz godziny na A100 SXM i godziny na H100 SXM, aby zmierzyć czas kroku.
Wynajmij na okres, jeśli
Przebieg trwa tygodniami, ponowne przesyłanie zbioru danych boli, już raz zostałeś wywłaszczony z pojemności spot lub chcesz zapłacić kryptowalutą bez weryfikacji tożsamości.
Wynajem GPU do dostrajania, pytania zadane wprost.
Ile VRAM potrzebuję, aby dostroić model 7B?
Czy mogę dostroić model 70B na jednym GPU?
Jaka jest różnica między LoRA a QLoRA w pamięci GPU?
Czy potrzebuję NVLink, aby dostrajać na wielu GPU?
Ile kosztuje wynajem GPU do trenowania na miesiąc?
Co dzieje się z moimi checkpointami po zakończeniu okresu?
Czy mogę wynająć GPU treningowe bez weryfikacji tożsamości?
Czy miesięczny wynajem GPU jest lepszy niż godzinowy dla przebiegu treningowego?
Dobór rozmiaru w przewodniku GPU VRAM, topologie w wynajmie klastrów multi-GPU, serwowanie wyniku w GPU do inferencji LLM, obrazy w dokumentacji.
Dobierz kartę, weź okres, rozpocznij przebieg.
QLoRA na 24 GB od $190 miesięcznie, NVLink H100 SXM od $1,690, węzeł 8-way od $12,170. Jedno zamówienie, jedna płatność, bez dowodu, bez karty.