GPU Rent Hubدليل VRAM

ما مقدار ذاكرة VRAM التي أحتاجها؟ الحساب أولًا، ثم البطاقة.

نموذج بمعامل 70B يحتاج إلى نحو 145 GB من VRAM لتشغيله بدقة BF16، و75 GB بدقة FP8، و40 GB بدقة INT4، وتؤجّر GPU Rent Hub بطاقة مخصصة لكل حالة من هذه الحالات: 240 دولارًا شهريًا لحالة INT4 على بطاقة A40 بسعة 48 GB، و1,490 دولارًا لحالة FP8 على بطاقة H100 PCIe بسعة 80 GB، و1,590 دولارًا لحالة BF16 على بطاقة MI300X بسعة 192 GB، مع الدفع بعملات Bitcoin أو Ethereum أو USDT أو USDC أو Monero أو Solana أو Litecoin دون التحقق من الهوية. كل رقم أدناه عملية حسابية يمكنك إعادتها. وليس أي منها معيار أداء، لأننا لن نذكر معيارًا لا نستطيع توثيقه.

حُدّث 2026-09-01

2 Bبايت لكل معامل عند BF16

$5.00أرخص سعر نؤجّر به VRAM، لكل GB شهريًا

192 GBأكبر سعة VRAM على بطاقة واحدة، MI300X

15بطاقة للاختيار بينها

01 الصيغة

كيف تحسب مقدار VRAM الذي يحتاجه النموذج؟

ثلاثة حدود: الأوزان، وذاكرة KV cache، والحمل الزائد وقت التشغيل. يمكنك حساب اثنين منها بدقة.

كتلة تحديد الحجم

VRAM المطلوبة = (عدد المعاملات × البايتات لكل معامل) + ذاكرة KV cache + نحو 2 GB من الحمل الزائد وقت التشغيل. البايتات لكل معامل هي 4 عند FP32، و2 عند BF16 أو FP16، و1 عند FP8، و0.5 عند INT4. وتُحسب ذاكرة KV cache على النحو: 2 × عدد الطبقات × رؤوس KV × بُعد الرأس × البايتات لكل عنصر × طول السياق × حجم الدُفعة، حيث يغطي الرقم 2 في البداية المفتاح والقيمة. أما الحمل الزائد وقت التشغيل فهو سياق CUDA وإطار العمل وتجزئة المخصصات، و2 GB بدل آمن لعملية واحدة.

مثال محسوب مرة واحدة: نموذج 70B بدقة FP8 عند 8,192 رمزًا ودُفعة 1 يحتاج إلى 70 GB من الأوزان، و2.7 GB من ذاكرة KV cache، و2 GB من الحمل الزائد، أي 75 GB، وهذه تناسب بطاقة واحدة بسعة 80 GB مع 5 GB فائض.

اصطلاحان، يُحدَّدان قبل أن تتجادل حول آخر GB.

ضرب عدد المعاملات بالمليارات في البايتات لكل معامل يعطي الجيجابايت مباشرة، وفق الاصطلاح العشري حيث الجيجابايت تساوي 10⁹ بايت. وتُذكر سعات البطاقات بالطريقة نفسها. أما الأدوات التي تُبلغ بوحدة gibibyte بدلًا من ذلك فتُقلّص كل رقم هنا بنحو 7%، ولهذا نترك هامشًا بدلًا من التخطيط حتى آخر GB.

احسب الحجم بناءً على المعاملات المقيمة، لا النشطة. نموذج mixture-of-experts يُبقي كل خبير في VRAM ويشغّل خبيرَين لكل رمز: ذاكرة الكل، وسرعة الجزء.

الدقة	بايت/معامل	7B	70B
FP32نادرًا ما يستحق العناء في الاستدلال	4	28 GB	280 GB
BF16 / FP16النقطة المرجعية	2	14 GB	140 GB
FP8Ada, Hopper, Blackwell, CDNA 3	1	7 GB	70 GB
INT4 / NF4أوزان فقط، أي معمارية	0.5	3.5 GB	35 GB

FP8 يحتاج إلى دعم من العتاد. لا يتوفر ذلك في A100 وA40 وRTX A6000 وRTX 3090 وRTX A5000. أما تكميم INT4 للأوزان فقط فيعمل على جميعها.

02 الاستدلال

ما مقدار VRAM الذي أحتاجه لتشغيل نموذج بحجم 7B أو 13B أو 34B أو 70B أو 405B؟

الأوزان زائد ذاكرة KV cache عند 8,192 رمزًا ودُفعة 1، زائد 2 GB. غيّر طول السياق فيتغير عمود KV، لا الأوزان.

النموذج	KV عند 8k ودُفعة 1	إجمالي BF16	إجمالي FP8	إجمالي INT4
7B32 طبقة، GQA، 8 رؤوس KV	1.1 GB	17 GB	10 GB	7 GB
13B40 طبقة، MHA، بدون GQA	6.7 GB	35 GB	22 GB	15 GB
34B60 طبقة، GQA، 8 رؤوس KV	2.0 GB	72 GB	38 GB	21 GB
70B80 طبقة، GQA، 8 رؤوس KV	2.7 GB	145 GB	75 GB	40 GB
405B126 طبقة، GQA، 8 رؤوس KV	4.2 GB	816 GB	411 GB	209 GB

تُحتسب ذاكرة KV cache بدقة FP16 في كل الأعمدة. بُعد الرأس 128 في كل الصفوف. تحقق من عدد الطبقات وعدد رؤوس KV في ملف config.json الخاص بنموذجك قبل الاعتماد على أي صف، لأن هذه أشكال نمطية وليست شاملة.

صف 13B هو المثير للاهتمام: يحمل ذاكرة KV cache أكبر من طراز 70B الذي تحته. شكله يستخدم انتباهًا متعدد الرؤوس مع 40 رأسًا للمفاتيح والقيم، بينما تستخدم النماذج الأحدث انتباهًا باستعلام مجمّع و8 رؤوس. خفّض هذا التغيير حجم الذاكرة المؤقتة من خمسة إلى ثمانية أضعاف، وهو السبب في أن خدمة السياقات الطويلة أصبحت ميسورة التكلفة. عند تقدير حجم أي نموذج من قبل 2024، تحقق من نظام الانتباه قبل عدد المعاملات.

حجم الدُفعة يضرب ذاكرة KV cache ولا شيء سواها. فطراز 70B عند دُفعة 32 يضيف 85 GB من الذاكرة المؤقتة إلى 70 GB نفسها من الأوزان، ولهذا يحتاج نقطة النهاية إلى ذاكرة أكبر بكثير من طلب واحد في كل مرة. أما تقدير حجم الخدمة فموجود في صفحة GPU للاستدلال بنماذج LLM.

03 السياق

ما مقدار VRAM الذي تستهلكه ذاكرة KV cache عند السياق الطويل؟

تزداد خطيًا مع الرموز، وخطيًا مع حجم الدفعة. عند 128k قد تكلف الذاكرة المؤقتة أكثر من الأوزان.

شكل النموذج	KV لكل رمز	8k	32k	128k
7B، 32 طبقة، GQAعرض KV 1,024	0.13 MB	1.1 GB	4.3 GB	17.2 GB
13B، 40 طبقة، MHAعرض KV 5,120	0.82 MB	6.7 GB	26.8 GB	107.4 GB
34B، 60 طبقة، GQAعرض KV 1,024	0.25 MB	2.0 GB	8.1 GB	32.2 GB
70B، 80 طبقة، GQAعرض KV 1,024	0.33 MB	2.7 GB	10.7 GB	42.9 GB
405B، 126 طبقة، GQAعرض KV 1,024	0.52 MB	4.2 GB	16.9 GB	67.6 GB

ذاكرة مؤقتة FP16 ودُفعة 1. قسّم كل رقم على اثنين لذاكرة FP8. واضرب في حجم الدفعة. عرض KV هو عدد رؤوس KV مضروبًا في بُعد الرأس.

أين يظهر أثر هذا؟

نموذج 70B بدقة FP8 يناسب بطاقة 80 GB عند 8k مع 5 GB فائض. ارفع السياق إلى 32k فتصبح الذاكرة المؤقتة وحدها 10.7 GB، فلا يعود النموذج مناسبًا. لهذا السبب توجد منتجات مثل H200 SXM بسعة 141 GB وMI300X بسعة 192 GB. فهما يحملان سياقًا أطول من H100 SXM، وهذا يختلف عن كونهما أسرع.

تكميم ذاكرة KV cache إلى FP8 أداة منفصلة عن تكميم الأوزان، وهو عادة الخيار الأقل تكلفة. فهو يقسّم الذاكرة المؤقتة إلى النصف بتكلفة جودة أقل بكثير من خفض الأوزان خطوة إضافية، ويدعمه كلٌ من vLLM وTensorRT-LLM.

04 الضبط الدقيق

ما مقدار VRAM الذي أحتاجه لضبط نموذج بدقة؟

يكلف الضبط الدقيق الكامل نحو 16 بايتًا لكل معامل. وLoRA يكلف 2. وQLoRA يكلف 0.5. والفجوة بين هذه الأرقام الثلاثة هي جوهر القرار كله.

يحتفظ الضبط الدقيق الكامل باستخدام Adam بخمسة أشياء لكل معامل: أوزان BF16 (2 بايت)، وتدرجات BF16 (2)، ونسخة رئيسية FP32 (4)، وعزمي Adam الأول والثاني (4 لكل منهما). هذا يساوي 16 بايتًا لكل معامل قبل التفعيلات. أما LoRA فيجمّد النموذج الأساسي، فتدفع 2 بايت لكل معامل مقابل النموذج المجمّد وحالة المحسّن على المحول فقط، وعادة ما يكون نحو نصف بالمئة من المعاملات. ويقوم QLoRA بتكميم هذا الأساس المجمّد إلى 4 بتات، فيكلف 0.5 بايت لكل معامل ويبقى المحول دون تغيير.

النموذج	ضبط كامل، الأوزان + Adam	ضبط كامل، مع التفعيلات	LoRA	QLoRA
7B	112 GB	129 GB	21 GB	10 GB
13B	208 GB	239 GB	33 GB	14 GB
34B	544 GB	626 GB	79 GB	28 GB
70B	1,120 GB	1,288 GB	156 GB	51 GB
405B	6,480 GB	7,452 GB	856 GB	249 GB

الافتراضات مذكورة لتتمكن من تغييرها: checkpointing للتدرجات مفعّل، وطول التسلسل 2,048، وحجم الدفعة 1، ومحولات rank-16 على إسقاطات الانتباه بنحو 0.5% من المعاملات، مع إضافة 15% إلى عمود الضبط الكامل للتفعيلات والتجزئة. حالة محسّن المحول تُحسب بمعدل 16 بايتًا لكل معامل محول.

عمود الضبط الكامل هو الرقم البسيط: كل شيء مقيم على وحدات GPU. أما ZeRO stage 3 مع نقل حالة المحسّن إلى ذاكرة المضيف فيقلص متطلبات GPU بشكل كبير، وتحمل عقدنا ثمانية المسارات 2 TB من ذاكرة RAM للمضيف لهذا الغرض بالضبط. يقايض نقل الحمل عرض نطاق PCIe مقابل VRAM، فيجعل التشغيل ممكنًا بدلًا من أن يجعله سريعًا. اختيار الطريقة موجود في صفحة GPU للضبط الدقيق.

قارن العمودين الأخيرين بالعمود الأول. الضبط الكامل لطراز 70B يحتاج عقدة من ثماني بطاقات بسعر 11,450 دولارًا. النموذج نفسه 70B تحت QLoRA يحتاج 51 GB، أي بطاقة A100 SXM بسعة 80GB واحدة بسعر 990 دولارًا شهريًا. هذا فرق اثني عشر ضعفًا لطريقة أقل جودة لكنها نادرًا ما تكون أسوأ باثني عشر ضعفًا. معظم من يسألون هذا السؤال يحصلون على رقم الضبط الكامل وهم لا يحتاجونه.

05 جدول البحث

ما وحدة GPU التي أحتاجها لنموذج 70B أو أي حجم آخر؟

حجم النموذج في العمود الجانبي، والطريقة في الصف العلوي. كل خلية تعرض VRAM المطلوبة وأرخص خيار في أسطولنا يتسع له.

النموذج	الاستدلال BF16	الاستدلال FP8	الاستدلال INT4	QLoRA	LoRA	ضبط كامل
7B	17 GBRTX A5000 $190	10 GBL4 $250	7 GBRTX A5000 $190	10 GBRTX A5000 $190	21 GBRTX A5000 $190، ضيق	129 GBMI300X $1,590
13B	35 GBA40 $240	22 GBL4 $250، ضيق	15 GBRTX A5000 $190	14 GBRTX A5000 $190	33 GBA40 $240	239 GB4× A100 $3,643
34B	72 GBA100 SXM $990	38 GBRTX 6000 Ada $460	21 GBRTX A5000 $190، ضيق	28 GBA40 $240	79 GBA100 SXM $990، ضيق	626 GB8× A100 $7,130، ضيق
70B	145 GBMI300X $1,590	75 GBH100 PCIe $1,490	40 GBA40 $240	51 GBA100 SXM $990	156 GBMI300X $1,590	1,288 GB8× MI300X $11,450
405B	816 GB8× MI300X $11,450	411 GB8× MI300X $11,450	209 GB8× A40 $1,728	249 GB8× A40 $1,728	856 GB8× MI300X $11,450	7,452 GBخمس عقد، حسب التسعيرة

أرخص بطاقة واحدة تتسع للنموذج، عند 8,192 رمزًا ودُفعة 1؛ وتُذكر مجموعة متعددة البطاقات فقط إذا لم تتسع له أي بطاقة واحدة. يجيب هذا الجدول عن سؤال واحد: أرخص بطاقة تحمل النموذج، بينما تجيب أدلة أعباء العمل عن سؤال مختلف: أرخص بطاقة تستحق تشغيله عليها، وهي أحيانًا بطاقة مختلفة وأغلى، مع ذكر السبب هناك. كلمة ضيق تعني أقل من 5 GB فائض، أو أقل من 2 GB لكل بطاقة في صفوف البطاقات المتعددة. أسعار البطاقات المتعددة تشمل خصم الكمية: 5% عند بطاقتين، و8% عند أربع، و10% عند ثماني. تفترض صفوف الضبط الكامل وجود NVLink أو NVSwitch، لأن تنفيذ all-reduce في كل خطوة عبر PCIe peer-to-peer لا يستحق الاستئجار. توجد بدائل أرخص متعددة البطاقات لمعظم الصفوف، ويشرح القسم 07 متى تأخذ أحدها. خلية 13B بدقة FP8 هي الأضيق: 22 GB يترك 2 GB فائضًا على L4، الذي يمتلك 300 GB/s وهو أبطأ ذاكرة نؤجرها، لذا فإن RTX 6000 Ada بسعر 460 دولارًا هو البديل عندما تكون سرعة فك الترميز لا السعة هي القيد. تحمل MI300X سبع خلايا هنا وتأتي بثلاثة شروط: DFW-1 Dallas فقط، و8 بطاقات متاحة عند آخر تحديث للكتالوج، واستخدام ROCm بدلًا من CUDA، لذا يعمل vLLM وPyTorch، بينما لا تعمل نواة CUDA مكتوبة يدويًا. المواصفات والمخزون حسب المنطقة في كتالوج GPU، والخصومات في صفحة التسعير.

الخلية التي ينبغي النظر إليها هي 70B عند INT4: بحجم 40 GB، تستوعبها بطاقة A40 بسعة 48GB بسعر 240 دولارًا شهريًا. ليست خدعة، بل هذا ما يوفره التكميم رباعي البتات وذاكرة GDDR6 بسعة 48 GB. ويوضح القسم 07 ما الذي تتنازل عنه مقابل ذلك. أي شيء فوق عقدة واحدة بثماني بطاقات يصبح مسألة عنقودية، لا مسألة بطاقة، وينتمي إلى صفحة تأجير عناقيد GPU المتعددة.

06 تكلفة الذاكرة

أي وحدة GPU تمنحك أكبر قدر من VRAM مقابل كل دولار؟

السعر الشهري مقسومًا على سعة VRAM بالجيجابايت، وعرض نطاق الذاكرة مقسومًا على السعر الشهري. لا أحد ينشر أيًا منهما. وكلاهما يقرر صفقات أكثر مما يقرره رقم TFLOPS.

GPU	VRAM	عرض النطاق	شهريًا	$ لكل GB/شهر	GB/s لكل $/شهر	لكل ساعة GPU
MI300XHBM3, CDNA 3	192 GB	5.3 TB/s	$1,590/mo	$8.28	3.33	$2.21
B200HBM3e, Blackwell, حد أدنى وحدتا GPU	180 GB	8 TB/s	$3,890/mo	$21.61	2.06	$5.40
H200 SXMHBM3e, Hopper	141 GB	4.8 TB/s	$2,290/mo	$16.24	2.10	$3.18
H100 SXMHBM3, NVLink 900 GB/s	80 GB	3.35 TB/s	$1,690/mo	$21.13	1.98	$2.35
H100 PCIeHBM2e	80 GB	2 TB/s	$1,490/mo	$18.63	1.34	$2.07
A100 SXMHBM2e، بدون FP8	80 GB	2.04 TB/s	$990/mo	$12.38	2.06	$1.38
L40SGDDR6 ECC, FP8	48 GB	864 GB/s	$520/mo	$10.83	1.66	$0.72
RTX 6000 AdaGDDR6 ECC, FP8	48 GB	960 GB/s	$460/mo	$9.58	2.09	$0.64
RTX A6000GDDR6 ECC، بدون FP8	48 GB	768 GB/s	$290/mo	$6.04	2.65	$0.40
A40GDDR6 ECC، بدون FP8	48 GB	696 GB/s	$240/mo	$5.00	2.90	$0.33
RTX 5090GDDR7, FP8	32 GB	1.79 TB/s	$540/mo	$16.88	3.31	$0.75
RTX 4090GDDR6X, FP8	24 GB	1.01 TB/s	$390/mo	$16.25	2.59	$0.54
L4GDDR6, FP8, 72 W	24 GB	300 GB/s	$250/mo	$10.42	1.20	$0.35
RTX 3090GDDR6X، بدون FP8	24 GB	936 GB/s	$230/mo	$9.58	4.07	$0.32
RTX A5000GDDR6 ECC، بدون FP8	24 GB	768 GB/s	$190/mo	$7.92	4.04	$0.26

مرتبة حسب VRAM. الدولارات لكل جيجابايت هي السعر الشهري مقسومًا على السعة. وGB/s لكل دولار هي عرض نطاق الذاكرة مقسومًا على السعر الشهري، فكلما ارتفع كان أفضل. أما لكل ساعة GPU فهي السعر الشهري مقسومًا على 720 ساعة في المدة، كما هو موضح في صفحة الإيجار الشهري مقابل الإيجار بالساعة. سعر B200 هو للبطاقة الواحدة، لكنه يُركب على لوحة قاعدة HGX بثماني بطاقات وأصغر وحدة قابلة للتأجير هي بطاقتان، لذا أصغر طلب B200 هو بطاقتان: 7,780 دولارًا شهريًا بالسعر المعلن، و7,391 دولارًا مع خصم 5% للبطاقتين.

بطاقتان مختلفتان تفوزان في العمودين، ولهذا ننشر كليهما. توفر A40 الجيجابايت الواحد مقابل 5.00 دولارات شهريًا، أي أقل من نصف ما تتقاضاه L40S مقابل سعة 48 GB نفسها، لأنها بطاقة صدرت عام 2020 وخلفها عرض نطاق 696 GB/s. وتمنح RTX 3090 معدل 4.07 GB/s لكل دولار، أي أكثر من ضعف H100 SXM، لأنها بطاقة استهلاكية قديمة ذات ناقل سريع وإيجار منخفض. ليست أي منهما أفضل بطاقة هنا. كلتاهما تجيب عن سؤال محدد إجابة صحيحة.

أما MI300X فهي الاستثناء. بسعر 8.28 دولارات لكل جيجابايت، تكون ذاكرتها أرخص من A100 أو H100 أو H200، وخلفها عرض نطاق 5.3 TB/s، ولهذا تملأ خلايا النماذج الكبيرة أعلاه. التكلفة هي استخدام ROCm بدلًا من CUDA: يعمل vLLM وPyTorch، بينما لا تعمل نواة CUDA مكتوبة يدويًا.

07 الرأي المخالف

هل المزيد من VRAM هو الإجابة الصحيحة دائمًا؟

لا. ثلاث حالات يكون فيها شراء السعة هو القرار الخاطئ، مع الحساب لكل حالة.

عرض النطاق هو عنق الزجاجة، لا السعة

فك ترميز رمز واحد يقرأ كل وزن مقيم من VRAM مرة واحدة. اقسم عرض النطاق على حجم النموذج المقيم لتحصل على سقف صارم للرموز في الثانية لتيار واحد. طراز 7B بدقة BF16 حجمه 14 GB، لذا لا تستطيع A40 بسرعة 696 GB/s تجاوز 50 رمزًا في الثانية، ولا تستطيع RTX 5090 بسرعة 1.79 TB/s تجاوز 128. كلتاهما تتسعان للنموذج. إحداهما أسرع منه بـ 2.6 مرة.

سقف أعلى، لا معيار أداء. ستصل إلى أقل منه.

التكميم على بطاقة صغيرة يتفوق على الدقة الكاملة على بطاقة كبيرة

طراز 34B بدقة BF16 يبلغ 72 GB شاملًا كل شيء، ويحتاج بطاقة A100 بسعر 990 دولارًا: عرض نطاق 2.04 TB/s مقسومًا على 68 GB من الأوزان يعطي سقفًا قدره 30 رمزًا في الثانية. الطراز نفسه 34B بدقة INT4 يبلغ 21 GB شاملًا كل شيء ويناسب RTX 4090 بسعر 390 دولارًا: 1.01 TB/s مقسومًا على 17 GB من الأوزان يعطي سقفًا قدره 59. أسرع، وأرخص بنسبة 61%. ما تتنازل عنه هو جودة الأوزان المكمَّمة، وهو ما يجب أن تقيّمه بدلًا من افتراضه.

أرخص وأسرع، لكن المخرجات أسوأ. اختبره.

بطاقتان رخيصتان، أحيانًا

بطاقتا A40 توفران 96 GB مقابل 456 دولارًا شهريًا، بينما توفر A100 واحدة 80 GB مقابل 990 دولارًا. ذاكرة أكبر، وأقل من نصف السعر. ينجح هذا في الاستدلال بالدفعات مع نسخة متماثلة لكل بطاقة، وفي QLoRA، وفي التقديم بتقسيم الطبقات عند تزامن منخفض. ويفشل تحت التوازي التنسوري وفي أي خطوة ضبط تشمل all-reduce، لأن الوصلة بين البطاقتين هي الجزء الذي لم تشتره.

96 GB مقابل 456 دولارًا. النقطة الحرجة هي الربط البيني.

نقطة NVLink، بدقة.

تتواصل H100 SXM مع جاراتها بسرعة 900 GB/s عبر NVLink. أما زوجا A40 أو RTX A6000 فيستخدمان جسر NVLink بسرعة 112 GB/s. ولا تملك L40S منفذ NVLink، وتنقل البيانات عبر PCIe Gen4 peer-to-peer بمعدل خط يبلغ نحو 32 GB/s. ولا تملك RTX 5090 منفذ NVLink أيضًا، لكن وصلتها من الجيل Gen5، أي نحو 63 GB/s. تُدفع هذه الفجوة مرة لكل طبقة ولكل رمز في التشغيل بالتوازي التنسوري.

أما التقسيم بالطبقات بدلًا من التنسورات فيتجنب معظم هذا النقل ولا يرفع شيئًا. لكل رمز ما زلت تقرأ كل بايت من النموذج، على بطاقتين بالتتابع بدلًا من بطاقة واحدة وحدها. التوازي التنسوري هو ما يحول بطاقتين إلى ضعف عرض النطاق، وهو بالضبط النمط الذي يحتاج الوصلة السريعة. هذه هي المقايضة كاملة.

مقارنة محلولة

2× RTX 5090: 64 GB، و3.58 TB/s إجماليًا، و1,026 دولارًا/شهريًا، وPCIe Gen5 peer-to-peer
1× H100 SXM: 80 GB، و3.35 TB/s، و1,690 دولارًا/شهريًا، ومساحة ذاكرة واحدة
الخلاصة: الزوج يفوز على الورق ويخسر مع أي نموذج لا يسع في 32 GB لكل بطاقة

إذا كان نموذجك يتسع لبطاقة واحدة، فضعه على بطاقة واحدة. كل تقسيم تضيفه هو نقطة مزامنة، ونمط فشل، وأمسية من تصحيح خرائط الأجهزة.

08 متى لا تستأجر منا

الحالات التي ينبغي أن ترسلك فيها هذه الصفحة إلى مكان آخر.

أقصر مدة لدينا سبعة أيام. إذا كنت تحتاج بطاقة لظهيرة واحدة للتحقق مما إذا كان طراز 13B يسع في 24 GB، فاستخدم مزودًا بالساعة: بضع ساعات هناك تكلف أقل من الحد الأدنى الأسبوعي البالغ 55 دولارًا على RTX A5000 لدينا. نحن لا نبيع بالساعات ولا نخطط لذلك.

إذا كنت تختار بين بطاقتين بناءً على السرعة لا السعة، فتوقف عن قراءة الجداول وشغّل بيئتك على البطاقتين. كل ما هنا هو حساب سعة وسقف عرض نطاق. لا يتنبأ أي منهما بما ستفعله أنواتك وشكل دفعتك والمجدول، ولن ندّعي غير ذلك برقم إنتاجية لا نستطيع توثيقه.

إذا كنت تحتاج 6,480 GB لضبط كامل لطراز 405B، فأنت تحتاج عنقودًا ونسيجًا للربط وخطة، لا صفحة تأجير. اسأل فريق المبيعات عن سعة متعددة العقد في DFW-1 Dallas أو IAD-1 Ashburn أو PDX-1 Hillsboro وتوقع حديثًا عن الربط البيني قبل السعر.

TL;DR ابدأ هنا

التعلم، أي نموذج حتى 13B: RTX A5000 24 GB، 190 دولارًا/شهريًا
تقديم نماذج من 24B إلى 34B في الإنتاج: L40S 48 GB، 520 دولارًا/شهريًا
أسرع بطاقة واحدة بأقل من 600 دولار: RTX 5090 32 GB، 540 دولارًا/شهريًا
أرخص تشغيل لطراز 70B بدقة INT4: A40 48 GB، 240 دولارًا/شهريًا
طراز 70B بدقة BF16 على بطاقة واحدة: MI300X 192 GB، 1,590 دولارًا/شهريًا
سياق طويل لطراز 70B: H200 SXM 141 GB، 2,290 دولارًا/شهريًا

BTCETHUSDTUSDCXMRSOLLTC

أودع مرة واحدة، وانشر خلال نحو تسعين ثانية، دون عنوان بريد إلكتروني ودون وثيقة هوية. راجع استضافة GPU دون KYC وكيفية عمل الدفع بالعملات المشفرة.

09 أسئلة

أسئلة VRAM، بالطريقة التي يسألها بها الناس.

ما مقدار VRAM الذي أحتاجه لتشغيل نموذج 70B؟

نحو 145 GB بدقة BF16، و75 GB بدقة FP8، و40 GB بدقة INT4، كل ذلك عند 8,192 رمزًا ودُفعة 1. هذا يشمل الأوزان زائد 2.7 GB لذاكرة KV cache وزائد 2 GB للحمل الزائد. رقم FP8 يناسب بطاقة واحدة بسعة 80 GB. ورقم INT4 يناسب بطاقة A40 بسعة 48 GB مقابل 240 دولارًا شهريًا.

ما مقدار VRAM الذي أحتاجه لنموذج 7B؟

17 GB بدقة BF16، و10 GB بدقة FP8، و7 GB بدقة INT4، عند سياق 8k ودُفعة 1. الثلاثة كلها تناسب بطاقة بسعة 24 GB، لذا تغطي RTX A5000 بسعر 190 دولارًا شهريًا أيًا منها. السؤال الأفضل هو عرض النطاق: لهذا الطراز 7B سقف فك ترميز يبلغ 55 رمزًا في الثانية على A5000 و128 على RTX 5090.

كيف أحسب حجم ذاكرة KV cache؟

2 × عدد الطبقات × رؤوس KV × بُعد الرأس × البايتات لكل عنصر × طول السياق × حجم الدفعة. لطراز 70B يضم 80 طبقة و8 رؤوس KV وبُعد رأس 128، يكون الناتج 0.33 MB لكل رمز بدقة FP16، أي 2.7 GB عند 8k و42.9 GB عند 128k. وتقسّم ذاكرة FP8 كل رقم على اثنين.

هل تكفي 24 GB من VRAM لضبط نموذج بدقة؟

بالنسبة إلى QLoRA نعم، حتى نحو 34B عند أطوال تسلسل قصيرة: يحتاج طراز 13B إلى نحو 14 GB وطراز 7B إلى 10 GB. أما LoRA بدقة BF16 فإن 24 GB تغطي طراز 7B بنحو 21 GB ولا تغطي ما هو أكبر. أما الضبط الكامل باستخدام Adam فلا. حتى طراز 7B يحتاج إلى نحو 129 GB، لأن حالة المحسّن تكلف 16 بايتًا لكل معامل.

ما وحدة GPU التي أحتاجها لنموذج 405B؟

بدقة INT4 يحتاج نحو 209 GB، وتستوعبها ثماني بطاقات A40 مقابل 1,728 دولارًا شهريًا، لكن مع 696 GB/s لكل بطاقة تكون هذه سعة لا سرعة. عند FP8 يحتاج 411 GB وعند BF16 يحتاج 816 GB، وكلاهما يناسب عقدة 8× MI300X بسعر 11,450 دولارًا. أما الضبط الكامل فيحتاج نحو 7,452 GB وينتمي إلى عنقود.

هل تعمل بطاقتان سعة 24 GB مثل بطاقة واحدة سعة 48 GB؟

من حيث السعة، تقريبًا. أما من حيث السرعة، فلا. النموذج المقسوم على بطاقتين ما زال يقرأ كل بايت لكل رمز، لذا لا يرفع تقسيم الطبقات سقفك. أما التوازي التنسوري فيرفعه، لكنه يتبادل التفعيلات في كل طبقة عبر الوصلة بين البطاقتين: 112 GB/s على جسر NVLink، ونحو 63 GB/s عبر PCIe Gen5، و32 GB/s عبر Gen4.

أي وحدة GPU تملك أرخص VRAM لكل جيجابايت؟

البطاقة A40: سعة 48 GB مقابل 240 دولارًا شهريًا أي 5.00 دولارات لكل جيجابايت شهريًا، وهي أدنى نسبة في أسطولنا. تليها RTX A6000 بسعر 6.04 دولارات، ثم RTX A5000 بسعر 7.92 دولارات، ثم MI300X بسعر 8.28 دولارات. أما H100 SXM فتكلف 21.13 دولارًا لكل جيجابايت لأنك تشتري عرض النطاق وإنتاجية FP8، لا السعة.

هل يضر التكميم إلى INT4 بجودة المخرجات؟

نعم، بشكل يمكن قياسه، ويعتمد حجم الضرر على النموذج والطريقة. مخططات الأوزان فقط مثل AWQ وGPTQ تفقد أقل بشكل ملحوظ من التقريب الساذج. العملية الصادقة هي أن تكمّم النموذج وتشغّل مجموعة تقييمك الخاصة وتقرر ما إذا كانت الخسارة تستحق البطاقة التي توفرها. نحن نؤجر البطاقتين ولا نبدي رأيًا.

تقدير الحجم حسب نوع العمل في GPU لاستدلال LLM وGPU للضبط الدقيق. المواصفات الكاملة والمخزون والأسعار في كتالوج GPU.

أنت تعرف الرقم. اختر البطاقة الآن.

خمسة عشر طرازًا في DFW-1 وIAD-1 وPDX-1، بدءًا من 190 دولارًا شهريًا، بالإيجار الأسبوعي أو الشهري، مع الدفع بسبع عملات دون التحقق من الهوية.

أنشئ حسابًا →