اختيار بطاقة GPU لاستدلال نماذج اللغة الكبيرة.
تؤجر GPU Rent Hub خوادم GPU مخصصة لاستدلال نماذج اللغة الكبيرة من $250 شهريًا لبطاقة NVIDIA L4 إلى $2,290 شهريًا لبطاقة H200 SXM، مع الدفع بعملة Bitcoin أو Ethereum أو USDT أو USDC أو Monero أو Solana أو Litecoin، دون أي تحقق من الهوية.
رقمان يحددان البطاقة: ذاكرة VRAM التي تحتاجها الأوزان وذاكرة KV المؤقتة، وعرض النطاق الترددي للذاكرة الذي يحدد عدد الرموز في الثانية.
ما مقدار VRAM الذي يحتاجه نموذج اللغة الكبير للاستدلال؟
هناك رقمان يحددان البطاقة هنا. الاشتقاق موجود في دليل VRAM؛ والعنصر الذي يتحرك هو ذاكرة KV المؤقتة، وهو يتحرك مع حركة الطلبات وليس مع الطراز.
الرقمان اللذان تعتمد عليهما هذه الصفحة
طراز 70B بدقة FP8 يستهلك 75 GB عند 8,192 رمزًا ودفعة 1، و2.7 GB من ذلك هو ذاكرة KV المؤقتة. كل ما عدا ذلك، معادلة الأوزان مضافًا إليها الذاكرة المؤقتة والنفقات العامة، والبايت لكل معامل عند كل دقة وصف لكل حجم طراز، مشتق تفصيلًا في دليل GPU VRAM ولا يتكرر هنا. هذان الرقمان يقومان بالعمل أدناه: 75 GB هو السبب في أن بطاقة سعة 80 GB تخدم طراز 70B مع 5 GB فائض، وذاكرة 2.7 GB المؤقتة هي العنصر المنقول إلى صف 120B في الجدول.
عنصر الذاكرة المؤقتة يصبح هو المهيمن عند السياقات الطويلة، حيث يتناسب مع طول السياق مضروبًا في حجم الدفعة، وليس مع عدد المعاملات. عند 128k و32 طلبًا متزامنًا يمكن أن يتجاوز الأوزان. لهذا السبب فإن بطاقة H200 SXM بسعة 141 GB تكلف أكثر من H100 SXM الذي يعمل بنفس شريحة السيليكون.
| حجم الطراز | BF16، 2 B/param | FP8، 1 B/param | 4-bit، 0.5 B/param | أرخص بطاقة NVIDIA تتسع له، بدقة FP8 |
|---|---|---|---|---|
| 7B–8BLlama 8B, Mistral 7B, Qwen 7B | 17 GB | 10 GB | 7 GB | L4، 24 GB |
| 13B–14B40 طبقة، MHA، ذاكرة مؤقتة كبيرة | 35 GB | 22 GB | 15 GB | L4، 24 GB، ضيقة |
| 32B–34B | 72 GB | 38 GB | 21 GB | RTX 6000 Ada، 48 GB |
| 70B | 145 GB | 75 GB | 40 GB | H100 PCIe، 80 GB |
| 120Bنفس المعادلة، لا يوجد صف في الدليل | 245 GB | 125 GB | 65 GB | H200 SXM، 141 GB |
| 405B | 816 GB | 411 GB | 209 GB | 8× MI300X، 1,536 GB |
لماذا يهم عرض النطاق الترددي للذاكرة أكثر من TFLOPS لاستدلال نماذج اللغة الكبيرة؟
فك ترميز رمز واحد يقرأ كل وزن مرة واحدة. البطاقة تنتظر الذاكرة، لا العمليات الحسابية.
عند دفعة واحدة، يدفق فك الترميز مجموعة الأوزان كاملة من VRAM لكل رمز ويجري نحو عمليتي فاصلة عائمة لكل معامل، وهو ما يعادل عند BF16 عملية واحدة لكل بايت يُقرأ. يتطلب إبقاء أنوية التنسور في H100 SXM مشغولة نحو 300، إذا حسبنا 1,979 TFLOPS متفرقة بدقة FP16 على أنها نحو 990 كثيفة مقابل 3.35 TB/s من عرض النطاق. البطاقة مقيدة بالذاكرة بفارق كبير، لذا فإن السقف الأعلى للرموز في الثانية هو عرض النطاق مقسومًا على بايتات الأوزان المقروءة لكل رمز.
طراز 8B بدقة BF16 حجمه 16 GB. على بطاقة RTX 4090 بعرض نطاق 1.01 TB/s يكون السقف 63 رمزًا في الثانية؛ وعلى بطاقة H100 SXM بعرض نطاق 3.35 TB/s يكون 209. هذه سقوف من ورقة المواصفات، وفك الترميز الفعلي يقل عنها بنسبة لن نذكرها لأننا لا نستطيع توثيقها. يبقى الترتيب صحيحًا. مرحلة التعبئة المسبقة هي الحالة المقابلة، مقيدة بالحوسبة، وهنا تكسب أنوية FP8 التنسورية قيمتها.
| GPU | VRAM | عرض النطاق | السقف، 8B بدقة BF16 | شهريًا | لكل ساعة GPU |
|---|---|---|---|---|---|
| B200Blackwell، HBM3e، حد أدنى 2-GPU | 180 GB | 8 TB/s | 500 t/s | $3,890/mo | $5.40 |
| MI300XCDNA 3، HBM3 | 192 GB | 5.3 TB/s | 331 t/s | $1,590/mo | $2.21 |
| H200 SXMHopper، HBM3e | 141 GB | 4.8 TB/s | 300 t/s | $2,290/mo | $3.18 |
| H100 SXMHopper، HBM3 | 80 GB | 3.35 TB/s | 209 t/s | $1,690/mo | $2.35 |
| A100 SXMAmpere، بدون FP8 | 80 GB | 2.04 TB/s | 128 t/s | $990/mo | $1.38 |
| H100 PCIeHopper، HBM2e | 80 GB | 2 TB/s | 125 t/s | $1,490/mo | $2.07 |
| RTX 5090Blackwell، GDDR7 | 32 GB | 1.79 TB/s | 112 t/s | $540/mo | $0.75 |
| RTX 4090Ada، GDDR6X | 24 GB | 1.01 TB/s | 63 t/s | $390/mo | $0.54 |
| RTX 6000 AdaAda، GDDR6 ECC | 48 GB | 960 GB/s | 60 t/s | $460/mo | $0.64 |
| RTX 3090Ampere، بدون FP8 | 24 GB | 936 GB/s | 59 t/s | $230/mo | $0.32 |
| L40SAda، GDDR6 ECC | 48 GB | 864 GB/s | 54 t/s | $520/mo | $0.72 |
| A40Ampere، بدون FP8 | 48 GB | 696 GB/s | 44 t/s | $240/mo | $0.33 |
| L4Ada، 72 W | 24 GB | 300 GB/s | 19 t/s | $250/mo | $0.35 |
هل تهم دقة FP8، ولماذا تُعد A100 بطاقة استدلال أسوأ مما يوحي به سعرها؟
دقة FP8 تخفض الأوزان إلى النصف. هذا يخفض البايتات المقروءة لكل رمز إلى النصف ويضاعف حجم الطراز الذي يتسع.
تمتلك Hopper وAda Lovelace وBlackwell أنوية تنسور بدقة FP8: B200 وH200 وH100 SXM وH100 PCIe وL40S وRTX 6000 Ada وRTX 5090 وRTX 4090 وL4. أما Ampere فلا تمتلكها. بطاقات A100 وA40 وRTX A6000 وRTX A5000 وRTX 3090 لا تدعم FP8، وهذا عيب في السيليكون وليس فجوة في التعريفات.
لذا فإن طراز 70B بدقة FP8 هو 75 GB ويعمل على بطاقة H100 SXM واحدة مقابل $1,690 شهريًا، أي $2.35 لكل ساعة GPU. على Ampere يعمل بدقة BF16 بحجم 145 GB، مما يعني بطاقتي A100 SXM: $1,980 بالسعر الأساسي، و$1,881 شهريًا مع خصم 5% للبطاقتين، أي $2.61 في الساعة لنقطة النهاية مقابل $2.35 لبطاقة H100 SXM الواحدة، مع حركة مرور tensor-parallel في كل رمز. البطاقة الأرخص تبني نقطة النهاية الأغلى.
ما تزال Ampere تستحق الاستئجار
للضبط الدقيق، ولتقديم النماذج بدقة 4-bit، وعندما يكون الحصول على 80 GB بأقل من $1,000 شهريًا هو الهدف. لكنها خيار افتراضي ضعيف لنقطة نهاية إنتاج للرموز، وسعرها البالغ $990 يخفي ذلك.
ما أفضل بطاقة GPU لاستدلال نماذج اللغة الكبيرة عند كل حجم طراز؟
مرتبة حسب حجم الطراز. بطاقة واحدة لكل نطاق، مختارة بناء على الحسابات أعلاه.
| تقديم هذا | الاختيار | VRAM | أسبوعيًا | شهريًا | لكل ساعة GPU |
|---|---|---|---|---|---|
| 7B–8B، دائم التشغيل، QPS منخفض72 W، منفذ واحد، FP8 | L4 | 24 GB | $70 | $250/mo | $0.35 |
| 7B–14B، زمن الوصول مهم1.01 TB/s، 265 متوفر | RTX 4090 | 24 GB | $110 | $390/mo | $0.54 |
| 14B–24B بدقة FP8أسرع ذاكرة بأقل من $600 | RTX 5090 | 32 GB | $155 | $540/mo | $0.75 |
| 24B–34B بدقة FP8ECC، عقد ثمانية الاتجاهات، أنوية RT | L40S | 48 GB | $148 | $520/mo | $0.72 |
| 32B بدقة BF16، بدون تكميمHopper بقدرة 350 W | H100 PCIe | 80 GB | $420 | $1,490/mo | $2.07 |
| 70B بدقة FP8، بطاقة واحدةالخيار الافتراضي للإنتاج | H100 SXM | 80 GB | $475 | $1,690/mo | $2.35 |
| 70B بدقة BF16، بطاقة واحدةأكبر قدر من HBM لكل بطاقة | MI300X | 192 GB | $450 | $1,590/mo | $2.21 |
| 100B–120B، أو 70B عند سياق 128kهامش ذاكرة KV المؤقتة | H200 SXM | 141 GB | $640 | $2,290/mo | $3.18 |
| 405B بدقة FP8، عقدة واحدةثمانية اتجاهات، NVSwitch 1.8 TB/s | 8× B200 | 1,440 GB | $7,850 | $28,010/mo | $4.86 |
الأسعار متطابقة في DFW-1 Dallas وIAD-1 Ashburn وPDX-1 Hillsboro، لذا اختر المنطقة بناء على زمن الوصول. بطاقة MI300X متاحة في Dallas فقط. من بين ثماني بطاقات B200، توجد ست في DFW-1 واثنتان في PDX-1، ولا توجد أي واحدة في IAD-1.
ما الذي أحصل عليه على خادم استدلال نماذج اللغة الكبيرة من GPU Rent Hub؟
عتاد مخصص، صلاحيات root، ومكدس التقديم مثبت مسبقًا، ولا شيء يستمع حتى تفعله.
قالب vLLM 0.9
Ubuntu 24.04 مع vLLM 0.9 ووحدة خادم متوافقة مع OpenAI مثبتة. الوحدة تأتي معطلة. أنت تفعلها وتقرر ما قد يصل إلى المنفذ.
قالب Ollama
لنموذج يجيب خلال دقيقتين بدلًا من خادم مضبوط. Ollama مربوط بـ localhost وأنت تعرضه بنفسك، عادة عبر WireGuard.
20 TB صادرة مضمنة
عند نحو 100 بايت من JSON وتأطير SSE لكل رمز متدفق، هذا يعادل نحو 200 مليار رمز شهريًا. لن تصل إليه نقطة نهاية نصية.
منفذ 100G، مع ضمان 10G
وصلة صاعدة مشتركة 100G بأرضية 10 Gbps، وعنوان IPv4 واحد وIPv6 /64. منفذ 100G مخصص بسعر $220 شهريًا إذا كنت تبث صوتًا أو صورًا.
الاستدلال المستمر هو أوضح حالة تستحق مدة عقد: فهو مشغول في ساعات غير متوقعة، ولا يتحمل البدايات الباردة، ويحمل أوزانًا قد تعيد منصة محاسبة سحبها عند كل توسع. البطاقة ملكك لمدة 720 ساعة سواء وصلت حركة المرور أم لا، ولا يمكن استباقها. حساب نقطة التعادل في الاستئجار الشهري مقابل الساعي لبطاقات GPU، وتفاصيل النشر في التوثيق. طلب واحد ودفعة واحدة بعملة BTC أو ETH أو USDT أو USDC أو XMR أو SOL أو LTC: كيف يعمل الدفع بالعملات المشفرة، وما معنى استضافة GPU دون تحقق من الهوية.
متى يجب ألا تستأجر بطاقة GPU مخصصة لاستدلال نماذج اللغة الكبيرة؟
ثلاث حالات تكون فيها البطاقة المخصصة الأداة الخاطئة، ونفضل قول ذلك.
ثانيًا، حركة المرور المتقطعة. نقطة نهاية تجيب على مائة طلب يوم الثلاثاء ثم لا شيء حتى الأسبوع التالي تُبقي البطاقة مشغولة لدقائق وتؤجرها 720 ساعة. استخدم مزودًا يحاسب بالساعة. أقصر مدة لدينا سبعة أيام ولا يوجد عداد.
ثالثًا، بطاقة أصغر تؤدي المهمة. كمّم طرازًا 34B إلى 4-bit وسيتسع في 21 GB، تخدمه بطاقة RTX 3090 بسعر $230 شهريًا بعرض نطاق 936 GB/s مع 3 GB فائض، وهي ذاكرة أسرع من بطاقة RTX A5000 الأرخص التي يسميها جدول الدليل لنفس الخلية. لا تستأجر H100 SXM لأن الطراز يحمل رقمًا كبيرًا في اسمه.
استأجر منا إذا
كانت نقطة النهاية دائمة التشغيل، أو أصبحت فاتورة السعر لكل رمز أكبر بند لديك، أو كان يجب أن تبقى الأوزان والمطالبات على عتاد لا يلمسه أحد غيرك، أو كنت تريد الدفع بالعملات المشفرة دون فحص هوية.
لا تستأجر منا إذا
كنت تحتاج بطاقة لفترة ما بعد الظهر، أو كانت حركة المرور غير متوقعة ومنخفضة، أو لم تقس بعد ما إذا كان الطراز يتسع بدقة 4-bit على بطاقة بربع السعر.
التدريب مشكلة تحجيم مختلفة، تهيمن عليها حالات المُحسِّن: انظر GPU للضبط الدقيق.
بطاقة GPU لاستدلال نماذج اللغة الكبيرة، بطرح واضح.
ما أفضل بطاقة GPU لاستدلال نماذج اللغة الكبيرة؟
ما الذي تحتاجه نقطة نهاية لطراز 70B إضافة إلى الأوزان؟
هل يمكنني استئجار بطاقة GPU لـ vLLM؟
لماذا لا تعد A100 بطاقة جيدة لاستدلال نماذج اللغة الكبيرة؟
كم عدد الرموز في الثانية التي ستنتجها البطاقة؟
هل الاستئجار الشهري مناسب لنقطة نهاية LLM دائمة التشغيل؟
هل تقدمون عرض نطاق كافيًا لواجهة رموز API؟
هل أحتاج إلى تقديم هوية لاستئجار خادم استدلال نماذج اللغة الكبيرة؟
حالات تحجيم أعمق في دليل GPU VRAM، وكل بطاقة في كتالوج GPU، وخصومات المدد في صفحة الأسعار.
ضع نقطة النهاية على عتاد لا يلمسه أحد غيرك.
انشر vLLM على بطاقة مخصصة في DFW-1 أو IAD-1 أو PDX-1 خلال نحو تسعين ثانية. طلب واحد، دفعة واحدة، بدون بريد إلكتروني، بدون هوية.