GPU Rent HubGPU لاستدلال نماذج اللغة الكبيرة

اختيار بطاقة GPU لاستدلال نماذج اللغة الكبيرة.

تؤجر GPU Rent Hub خوادم GPU مخصصة لاستدلال نماذج اللغة الكبيرة من $250 شهريًا لبطاقة NVIDIA L4 إلى $2,290 شهريًا لبطاقة H200 SXM، مع الدفع بعملة Bitcoin أو Ethereum أو USDT أو USDC أو Monero أو Solana أو Litecoin، دون أي تحقق من الهوية.

رقمان يحددان البطاقة: ذاكرة VRAM التي تحتاجها الأوزان وذاكرة KV المؤقتة، وعرض النطاق الترددي للذاكرة الذي يحدد عدد الرموز في الثانية.

حُدِّث 2026-09-01
75 GBطراز 70B بدقة FP8، سياق 8k، دفعة 1
3.35 TB/sعرض نطاق ذاكرة H100 SXM
$2.35بطاقة H100 SXM لكل ساعة GPU على مدار شهر
20 TBالبيانات الصادرة المضمنة لكل مثيل
01 تحديد الحجم

ما مقدار VRAM الذي يحتاجه نموذج اللغة الكبير للاستدلال؟

هناك رقمان يحددان البطاقة هنا. الاشتقاق موجود في دليل VRAM؛ والعنصر الذي يتحرك هو ذاكرة KV المؤقتة، وهو يتحرك مع حركة الطلبات وليس مع الطراز.

الرقمان اللذان تعتمد عليهما هذه الصفحة

طراز 70B بدقة FP8 يستهلك 75 GB عند 8,192 رمزًا ودفعة 1، و2.7 GB من ذلك هو ذاكرة KV المؤقتة. كل ما عدا ذلك، معادلة الأوزان مضافًا إليها الذاكرة المؤقتة والنفقات العامة، والبايت لكل معامل عند كل دقة وصف لكل حجم طراز، مشتق تفصيلًا في دليل GPU VRAM ولا يتكرر هنا. هذان الرقمان يقومان بالعمل أدناه: 75 GB هو السبب في أن بطاقة سعة 80 GB تخدم طراز 70B مع 5 GB فائض، وذاكرة 2.7 GB المؤقتة هي العنصر المنقول إلى صف 120B في الجدول.

عنصر الذاكرة المؤقتة يصبح هو المهيمن عند السياقات الطويلة، حيث يتناسب مع طول السياق مضروبًا في حجم الدفعة، وليس مع عدد المعاملات. عند 128k و32 طلبًا متزامنًا يمكن أن يتجاوز الأوزان. لهذا السبب فإن بطاقة H200 SXM بسعة 141 GB تكلف أكثر من H100 SXM الذي يعمل بنفس شريحة السيليكون.

حجم الطرازBF16، 2 B/paramFP8، 1 B/param4-bit، 0.5 B/paramأرخص بطاقة NVIDIA تتسع له، بدقة FP8
7B–8BLlama 8B, Mistral 7B, Qwen 7B17 GB10 GB7 GBL4، 24 GB
13B–14B40 طبقة، MHA، ذاكرة مؤقتة كبيرة35 GB22 GB15 GBL4، 24 GB، ضيقة
32B–34B72 GB38 GB21 GBRTX 6000 Ada، 48 GB
70B145 GB75 GB40 GBH100 PCIe، 80 GB
120Bنفس المعادلة، لا يوجد صف في الدليل245 GB125 GB65 GBH200 SXM، 141 GB
405B816 GB411 GB209 GB8× MI300X، 1,536 GB
الأوزان مضافًا إليها ذاكرة KV مؤقتة عند 8,192 رمزًا ودفعة 1 مضافًا إليها 2 GB للنفقات العامة، مقتبسة من دليل GPU VRAM مع أرخص بطاقة تتسع لكل رقم FP8. العمود الأخير يخص NVIDIA فقط، لأن البديل هو مكدس برمجي مختلف: في صف 120B تحمل بطاقة MI300X بسعة 192 GB نفس 125 GB مقابل $1,590 شهريًا في مقابل $2,290 لبطاقة H200 SXM، على حساب استخدام ROCm بدلًا من CUDA وDallas بدلًا من ثلاثة مواقع. صف 120B هو نفس المعادلة وقد مُددت خطوة إضافية بأخذ ذاكرة 2.7 GB المؤقتة من صف 70B، لأنه لا يوجد صف في الدليل يغطي ذلك الحجم. صف 405B هو الاستثناء في العمود، لأنه لا توجد بطاقة واحدة من أي من العلامتين تتسع له، وأرخص عقدة تتسع له هي 8× MI300X. طراز 70B بدقة FP8 يترك 5 GB فائضًا على بطاقة 80 GB عند سياق 8k ويتوقف عن الاتساع عند 32k، حيث تبلغ الذاكرة المؤقتة وحدها 10.7 GB.
02 عرض النطاق

لماذا يهم عرض النطاق الترددي للذاكرة أكثر من TFLOPS لاستدلال نماذج اللغة الكبيرة؟

فك ترميز رمز واحد يقرأ كل وزن مرة واحدة. البطاقة تنتظر الذاكرة، لا العمليات الحسابية.

عند دفعة واحدة، يدفق فك الترميز مجموعة الأوزان كاملة من VRAM لكل رمز ويجري نحو عمليتي فاصلة عائمة لكل معامل، وهو ما يعادل عند BF16 عملية واحدة لكل بايت يُقرأ. يتطلب إبقاء أنوية التنسور في H100 SXM مشغولة نحو 300، إذا حسبنا 1,979 TFLOPS متفرقة بدقة FP16 على أنها نحو 990 كثيفة مقابل 3.35 TB/s من عرض النطاق. البطاقة مقيدة بالذاكرة بفارق كبير، لذا فإن السقف الأعلى للرموز في الثانية هو عرض النطاق مقسومًا على بايتات الأوزان المقروءة لكل رمز.

طراز 8B بدقة BF16 حجمه 16 GB. على بطاقة RTX 4090 بعرض نطاق 1.01 TB/s يكون السقف 63 رمزًا في الثانية؛ وعلى بطاقة H100 SXM بعرض نطاق 3.35 TB/s يكون 209. هذه سقوف من ورقة المواصفات، وفك الترميز الفعلي يقل عنها بنسبة لن نذكرها لأننا لا نستطيع توثيقها. يبقى الترتيب صحيحًا. مرحلة التعبئة المسبقة هي الحالة المقابلة، مقيدة بالحوسبة، وهنا تكسب أنوية FP8 التنسورية قيمتها.

السقف، الرموز في الثانية = عرض النطاق الترددي للذاكرة ÷ (المعاملات × البايت لكل معامل). الدفعات ترفع الإنتاجية لكل بطاقة دون رفع سرعة الطلب الواحد، لأن الأوزان تُقرأ مرة واحدة للدفعة كاملة.
حقيقتان من الجدول قد تقرآن بشكل سيئ لصالحنا. بطاقة A100 SXM بعرض نطاق 2.04 TB/s لديها عرض نطاق أعلى من H100 PCIe، وبطاقة RTX 3090 بعرض نطاق 936 GB/s أعلى من L40S. ولا تُعد أي منهما بطاقة الاستدلال الأفضل. القسم 03 يوضح السبب.
GPUVRAMعرض النطاقالسقف، 8B بدقة BF16شهريًالكل ساعة GPU
B200Blackwell، HBM3e، حد أدنى 2-GPU180 GB8 TB/s500 t/s$3,890/mo$5.40
MI300XCDNA 3، HBM3192 GB5.3 TB/s331 t/s$1,590/mo$2.21
H200 SXMHopper، HBM3e141 GB4.8 TB/s300 t/s$2,290/mo$3.18
H100 SXMHopper، HBM380 GB3.35 TB/s209 t/s$1,690/mo$2.35
A100 SXMAmpere، بدون FP880 GB2.04 TB/s128 t/s$990/mo$1.38
H100 PCIeHopper، HBM2e80 GB2 TB/s125 t/s$1,490/mo$2.07
RTX 5090Blackwell، GDDR732 GB1.79 TB/s112 t/s$540/mo$0.75
RTX 4090Ada، GDDR6X24 GB1.01 TB/s63 t/s$390/mo$0.54
RTX 6000 AdaAda، GDDR6 ECC48 GB960 GB/s60 t/s$460/mo$0.64
RTX 3090Ampere، بدون FP824 GB936 GB/s59 t/s$230/mo$0.32
L40SAda، GDDR6 ECC48 GB864 GB/s54 t/s$520/mo$0.72
A40Ampere، بدون FP848 GB696 GB/s44 t/s$240/mo$0.33
L4Ada، 72 W24 GB300 GB/s19 t/s$250/mo$0.35
يبين عمود السقف عرض النطاق مقسومًا على 16 GB من أوزان BF16: حد أعلى من ورقة المواصفات، وليس نتيجة مقيسة. سعر كل ساعة GPU هو السعر الشهري مقسومًا على 720. سعر B200 هو لكل بطاقة والبطاقة تُباع على لوحة أساسية HGX بثماني بطاقات، لذا فإن أصغر طلب لـ B200 هو بطاقتان، أي $7,780 شهريًا قبل خصم البطاقتين. جميع البطاقات الخمس عشرة في كتالوج GPU.
03 الدقة

هل تهم دقة FP8، ولماذا تُعد A100 بطاقة استدلال أسوأ مما يوحي به سعرها؟

دقة FP8 تخفض الأوزان إلى النصف. هذا يخفض البايتات المقروءة لكل رمز إلى النصف ويضاعف حجم الطراز الذي يتسع.

تمتلك Hopper وAda Lovelace وBlackwell أنوية تنسور بدقة FP8: B200 وH200 وH100 SXM وH100 PCIe وL40S وRTX 6000 Ada وRTX 5090 وRTX 4090 وL4. أما Ampere فلا تمتلكها. بطاقات A100 وA40 وRTX A6000 وRTX A5000 وRTX 3090 لا تدعم FP8، وهذا عيب في السيليكون وليس فجوة في التعريفات.

لذا فإن طراز 70B بدقة FP8 هو 75 GB ويعمل على بطاقة H100 SXM واحدة مقابل $1,690 شهريًا، أي $2.35 لكل ساعة GPU. على Ampere يعمل بدقة BF16 بحجم 145 GB، مما يعني بطاقتي A100 SXM: $1,980 بالسعر الأساسي، و$1,881 شهريًا مع خصم 5% للبطاقتين، أي $2.61 في الساعة لنقطة النهاية مقابل $2.35 لبطاقة H100 SXM الواحدة، مع حركة مرور tensor-parallel في كل رمز. البطاقة الأرخص تبني نقطة النهاية الأغلى.

ما تزال Ampere تستحق الاستئجار

للضبط الدقيق، ولتقديم النماذج بدقة 4-bit، وعندما يكون الحصول على 80 GB بأقل من $1,000 شهريًا هو الهدف. لكنها خيار افتراضي ضعيف لنقطة نهاية إنتاج للرموز، وسعرها البالغ $990 يخفي ذلك.

تُعد MI300X الاستثناء الذي يستحق المعرفة. سعة 192 GB من HBM3 بعرض نطاق 5.3 TB/s مقابل $1,590 شهريًا تتسع لطراز 70B بدقة BF16 على بطاقة واحدة، أي 145 GB مع 47 GB فائض، دون تكميم ودون تقسيم. يُقلع بقالب ROCm 6.4 الخاص بنا مع بناء PyTorch ROCm.
04 الاختيارات

ما أفضل بطاقة GPU لاستدلال نماذج اللغة الكبيرة عند كل حجم طراز؟

مرتبة حسب حجم الطراز. بطاقة واحدة لكل نطاق، مختارة بناء على الحسابات أعلاه.

تقديم هذاالاختيارVRAMأسبوعيًاشهريًالكل ساعة GPU
7B–8B، دائم التشغيل، QPS منخفض72 W، منفذ واحد، FP8L424 GB$70$250/mo$0.35
7B–14B، زمن الوصول مهم1.01 TB/s، 265 متوفرRTX 409024 GB$110$390/mo$0.54
14B–24B بدقة FP8أسرع ذاكرة بأقل من $600RTX 509032 GB$155$540/mo$0.75
24B–34B بدقة FP8ECC، عقد ثمانية الاتجاهات، أنوية RTL40S48 GB$148$520/mo$0.72
32B بدقة BF16، بدون تكميمHopper بقدرة 350 WH100 PCIe80 GB$420$1,490/mo$2.07
70B بدقة FP8، بطاقة واحدةالخيار الافتراضي للإنتاجH100 SXM80 GB$475$1,690/mo$2.35
70B بدقة BF16، بطاقة واحدةأكبر قدر من HBM لكل بطاقةMI300X192 GB$450$1,590/mo$2.21
100B–120B، أو 70B عند سياق 128kهامش ذاكرة KV المؤقتةH200 SXM141 GB$640$2,290/mo$3.18
405B بدقة FP8، عقدة واحدةثمانية اتجاهات، NVSwitch 1.8 TB/s8× B2001,440 GB$7,850$28,010/mo$4.86
سعر كل ساعة GPU هو السعر الشهري مقسومًا على 720، وبالنسبة للعقدة على 8 بطاقات و720 ساعة. خصومات تعدد البطاقات 5% عند بطاقتين، و8% عند أربع، و10% عند ثمان، لذا فإن عقدة 8× H100 SXM بسعر $12,170 شهريًا، أي $2.11 لكل ساعة GPU. متوفر: 63 بطاقة H100 SXM، و100 بطاقة RTX 5090، و74 بطاقة L40S، و265 بطاقة RTX 4090. هذه هي البطاقات التي كنا سنشغل عليها الوظيفة؛ أما جدول دليل VRAM فيذكر أرخص بطاقة تتسع فحسب، لذا يكون الصف هنا أحيانًا للبطاقة الأغلى والسبب مذكور في الصف. صف 405B هو أوضح حالة: يحدد الدليل أرخص عقدة تتسع لطراز 405B بدقة FP8 بأنها 8× MI300X بسعر $11,450، بينما يأخذ هذا الجدول 8× B200 بسبب نسيجها التوصيلي البالغ 1.8 TB/s.

الأسعار متطابقة في DFW-1 Dallas وIAD-1 Ashburn وPDX-1 Hillsboro، لذا اختر المنطقة بناء على زمن الوصول. بطاقة MI300X متاحة في Dallas فقط. من بين ثماني بطاقات B200، توجد ست في DFW-1 واثنتان في PDX-1، ولا توجد أي واحدة في IAD-1.

05 المثيل

ما الذي أحصل عليه على خادم استدلال نماذج اللغة الكبيرة من GPU Rent Hub؟

عتاد مخصص، صلاحيات root، ومكدس التقديم مثبت مسبقًا، ولا شيء يستمع حتى تفعله.

01

قالب vLLM 0.9

Ubuntu 24.04 مع vLLM 0.9 ووحدة خادم متوافقة مع OpenAI مثبتة. الوحدة تأتي معطلة. أنت تفعلها وتقرر ما قد يصل إلى المنفذ.

لا شيء مكشوف افتراضيًا.
02

قالب Ollama

لنموذج يجيب خلال دقيقتين بدلًا من خادم مضبوط. Ollama مربوط بـ localhost وأنت تعرضه بنفسك، عادة عبر WireGuard.

القاعدة نفسها: localhost حتى تنقله.
03

20 TB صادرة مضمنة

عند نحو 100 بايت من JSON وتأطير SSE لكل رمز متدفق، هذا يعادل نحو 200 مليار رمز شهريًا. لن تصل إليه نقطة نهاية نصية.

ثم $4/TB. البيانات الواردة غير محسوبة.
04

منفذ 100G، مع ضمان 10G

وصلة صاعدة مشتركة 100G بأرضية 10 Gbps، وعنوان IPv4 واحد وIPv6 /64. منفذ 100G مخصص بسعر $220 شهريًا إذا كنت تبث صوتًا أو صورًا.

VLAN خاص بين المثيلات، $25/mo.

الاستدلال المستمر هو أوضح حالة تستحق مدة عقد: فهو مشغول في ساعات غير متوقعة، ولا يتحمل البدايات الباردة، ويحمل أوزانًا قد تعيد منصة محاسبة سحبها عند كل توسع. البطاقة ملكك لمدة 720 ساعة سواء وصلت حركة المرور أم لا، ولا يمكن استباقها. حساب نقطة التعادل في الاستئجار الشهري مقابل الساعي لبطاقات GPU، وتفاصيل النشر في التوثيق. طلب واحد ودفعة واحدة بعملة BTC أو ETH أو USDT أو USDC أو XMR أو SOL أو LTC: كيف يعمل الدفع بالعملات المشفرة، وما معنى استضافة GPU دون تحقق من الهوية.

BTCETHUSDTUSDCXMRSOLLTC
06 متى لا

متى يجب ألا تستأجر بطاقة GPU مخصصة لاستدلال نماذج اللغة الكبيرة؟

ثلاث حالات تكون فيها البطاقة المخصصة الأداة الخاطئة، ونفضل قول ذلك.

أقل من عشرة ملايين رمز شهريًا تقريبًا، استخدم واجهة رموز مستضافة. طراز 7B على بطاقة L4 يكلف $250 شهريًا، أي $25 لكل مليون رمز عند ذلك الحجم، ومعدلات السعر لكل رمز لنموذج مفتوح مماثل أقل من ذلك.

ثانيًا، حركة المرور المتقطعة. نقطة نهاية تجيب على مائة طلب يوم الثلاثاء ثم لا شيء حتى الأسبوع التالي تُبقي البطاقة مشغولة لدقائق وتؤجرها 720 ساعة. استخدم مزودًا يحاسب بالساعة. أقصر مدة لدينا سبعة أيام ولا يوجد عداد.

ثالثًا، بطاقة أصغر تؤدي المهمة. كمّم طرازًا 34B إلى 4-bit وسيتسع في 21 GB، تخدمه بطاقة RTX 3090 بسعر $230 شهريًا بعرض نطاق 936 GB/s مع 3 GB فائض، وهي ذاكرة أسرع من بطاقة RTX A5000 الأرخص التي يسميها جدول الدليل لنفس الخلية. لا تستأجر H100 SXM لأن الطراز يحمل رقمًا كبيرًا في اسمه.

استأجر منا إذا

كانت نقطة النهاية دائمة التشغيل، أو أصبحت فاتورة السعر لكل رمز أكبر بند لديك، أو كان يجب أن تبقى الأوزان والمطالبات على عتاد لا يلمسه أحد غيرك، أو كنت تريد الدفع بالعملات المشفرة دون فحص هوية.

لا تستأجر منا إذا

كنت تحتاج بطاقة لفترة ما بعد الظهر، أو كانت حركة المرور غير متوقعة ومنخفضة، أو لم تقس بعد ما إذا كان الطراز يتسع بدقة 4-bit على بطاقة بربع السعر.

التدريب مشكلة تحجيم مختلفة، تهيمن عليها حالات المُحسِّن: انظر GPU للضبط الدقيق.

07 الأسئلة

بطاقة GPU لاستدلال نماذج اللغة الكبيرة، بطرح واضح.

ما أفضل بطاقة GPU لاستدلال نماذج اللغة الكبيرة؟
يعتمد على حجم الطراز. للفئة 7B إلى 14B تعد RTX 4090 بسعر $390 شهريًا الاختيار الأفضل من حيث القيمة. للفئة 24B إلى 34B بدقة FP8، L40S بسعة 48 GB بسعر $520. للفئة 70B بدقة FP8، بطاقة H100 SXM واحدة بسعر $1,690، أي $2.35 لكل ساعة GPU. للفئة 100B فأكثر، H200 SXM بسعر $2,290.
ما الذي تحتاجه نقطة نهاية لطراز 70B إضافة إلى الأوزان؟
الذاكرة المؤقتة، وهي تتزايد مع التزامن وليس مع الطراز. الأوزان ورقم التيار الواحد موجودان في دليل GPU VRAM: 75 GB بدقة FP8 عند 8,192 رمزًا ودفعة 1. كل طلب متزامن إضافي عند ذلك السياق يضيف 2.7 GB، لذا ثمانية طلبات قيد التنفيذ تعني نحو 22 GB إضافية، واثنان وثلاثون تعني نحو 85 GB. هذا هو الفرق بين بطاقة 80 GB تخدم تيارًا واحدًا مع 5 GB فائض وبطاقة H200 بسعة 141 GB أو MI300X بسعة 192 GB تخدم نقطة نهاية ذات تزامن حقيقي. تكميم الذاكرة المؤقتة إلى FP8 يخفض كل رقم من هذه الأرقام إلى النصف.
هل يمكنني استئجار بطاقة GPU لـ vLLM؟
نعم. أي مثيل يقلع بقالب vLLM 0.9 على Ubuntu 24.04، والذي يتضمن وحدة خادم متوافقة مع OpenAI تأتي معطلة حتى تفعلها. لديك صلاحيات root على عتاد مخصص، لذا يمكنك استبدالها ببنائك الخاص. تستخدم MI300X قالب ROCm 6.4 مع بناء PyTorch ROCm.
لماذا لا تعد A100 بطاقة جيدة لاستدلال نماذج اللغة الكبيرة؟
لا تمتلك Ampere أنوية تنسور FP8، لذا يعمل طراز 70B بدقة BF16 بحجم 145 GB. يتطلب ذلك بطاقتي A100 SXM، بسعر $1,980 بالسعر الأساسي و$1,881 شهريًا بعد تطبيق خصم 5% للبطاقتين، مقابل بطاقة H100 SXM واحدة بسعر $1,690 تخدم الطراز نفسه بدقة FP8 وبعرض نطاق 3.35 TB/s. لا تزال A100 بطاقة جيدة للضبط الدقيق والتقديم بدقة 4-bit.
كم عدد الرموز في الثانية التي ستنتجها البطاقة؟
الحد الأعلى هو عرض النطاق الترددي للذاكرة مقسومًا على بايتات الأوزان المقروءة لكل رمز. طراز 8B بدقة BF16 حجمه 16 GB، لذا تبلغ ذروة RTX 4090 بعرض نطاق 1.01 TB/s قرابة 63 رمزًا في الثانية، وH100 SXM بعرض نطاق 3.35 TB/s قرابة 209. المكدسات الفعلية تقع تحت السقف، ومدى انخفاضها يعتمد على الأنوية وشكل الدفعة والمجدول، ولهذا ننشر الحد لا نسبة منه.
هل الاستئجار الشهري مناسب لنقطة نهاية LLM دائمة التشغيل؟
عادة نعم. المدة الثابتة تكلف نفسها سواء وصلت حركة المرور أم لا، لذا نقطة النهاية التي تستجيب في ساعات غير متوقعة لا تدفع علاوة خمول، وليس لها بداية باردة، ولا تنتظر أبدًا للحصول على سعة. تأتي نقطة التعادل من الأسعار: $1,690 لشهر على H100 SXM مقابل عداد توضيحي بين $2.49 و$3.49 يتعادل عند ما يقرب من 480 إلى 680 ساعة استخدام من شهر 720 ساعة، لذا فإن المزود الساعي أرخص دون ذلك. الحساب الكامل موجود في صفحة الاستئجار الشهري مقابل الساعي.
هل تقدمون عرض نطاق كافيًا لواجهة رموز API؟
نعم. يتضمن كل مثيل 20 TB من البيانات الصادرة شهريًا، وهو عند نحو 100 بايت من JSON وتأطير SSE لكل رمز متدفق يعادل نحو 200 مليار رمز. البيانات الواردة غير محسوبة، لذا لا يكلف سحب الأوزان شيئًا. بعد 20 TB يكون السعر $4 لكل TB، والمنفذ المخصص 100G بسعر $220 شهريًا.
هل أحتاج إلى تقديم هوية لاستئجار خادم استدلال نماذج اللغة الكبيرة؟
لا. الحساب هو اسم مستخدم وكلمة مرور دون الحاجة إلى بريد إلكتروني، وتدفع مقابل كل مدة بحوالة واحدة بعملة Bitcoin أو Ethereum أو USDT أو USDC أو Monero أو Solana أو Litecoin. تعمل شركة GPU Rent Hub Compute LLC بهذه الطريقة منذ 15 مارس 2021، مع 6,300 بطاقة GPU عبر DFW-1 Dallas وIAD-1 Ashburn وPDX-1 Hillsboro.

حالات تحجيم أعمق في دليل GPU VRAM، وكل بطاقة في كتالوج GPU، وخصومات المدد في صفحة الأسعار.

ضع نقطة النهاية على عتاد لا يلمسه أحد غيرك.

انشر vLLM على بطاقة مخصصة في DFW-1 أو IAD-1 أو PDX-1 خلال نحو تسعين ثانية. طلب واحد، دفعة واحدة، بدون بريد إلكتروني، بدون هوية.

أنشئ حسابًا →