مدونة استضافة GPU وسجل التغييرات. ملاحظات من القفص.

وصلت الدفعة الثانية من HGX B200 في 19 أغسطس، وخضعت لاختبار تحميل لمدة أسبوع، وأُخرجت من قائمة الانتظار هذا الصباح. ثماني عقد من نوع 8-way تعمل الآن، وهناك حاملان إضافيان قيد الطلب إلى IAD-1 ويستهدفان نوفمبر. الطاقة هي العائق، لا التوريد: تسحب عقدة B200 نحو 10.2 كيلوواط من المأخذ، وكان علينا إضافة ممر بسبار 415 فولت إلى القفص 4 من أجلها.

لا يمكننا تقديم مثيلات B200 ببطاقة واحدة — فهذه القطع لا توجد إلا على لوحة أساس ذات 8 منافذ — لذا أصغر وحدة هي 2× (نصف عقدة، مقسمة عبر NVLink) بسعر 7,391 دولارًا شهريًا، أي ما يعادل بطاقتين بسعر 3,890 دولارًا للبطاقة بعد خصم 5% عند استئجار بطاقتين. يظهر المخزون الفعلي لكل منطقة في صفحة استئجار B200.

يكون NVMe في كل مثيل وحدة تخزين LUKS2 بمفتاح يُولَّد عند التجهيز ويُحفظ في TPM الخاص بالمضيف، ومقيَّد بمعرّف ذلك المثيل. عند تحرير المثيل يُطلب من TPM إتلاف المفتاح — وعندها تصبح محتويات القرص نصًا مشفرًا بلا أي مفتاح في أي مكان. بعد ذلك نشغّل blkdiscard على النطاق، ثم نجري فحص تحقق لمدة 30 ثانية يأخذ عينات من 2,000 عنوان LBA عشوائي ويتأكد أنها تُقرأ كأصفار. بعد ذلك فقط تعود الفتحة إلى المخزون. يضيف هذا نحو 90 ثانية إلى عملية التحرير، ونرى أنه يستحق.

ظل الناس يطلبون شراء بطاقات متقاعدة من أسطولنا، وكنا نرفض لأننا لم تكن لدينا عملية لذلك. الآن أصبحت لدينا: صفحة عتاد تتضمن بطاقات جديدة وبطاقات متقاعدة من الأسطول، وخدمة مواضعة مشتركة في أقفاصنا، وسعر إعادة شراء. تستخدم البطاقات الموضوعة في الموقع نفس أسطول المضيفين ولوحة التحكم المستخدمتين في الاستئجار — لا يوجد «منتج مواضعة مشتركة» منفصل. البطاقة ملكك، وتنخفض الفاتورة الشهرية إلى الطاقة والمساحة. تظهر فئات كل بطاقة في صفحة المواضعة المشتركة لوحدات GPU.

لم يعد تحويل المثيل من الاستئجار الأسبوعي إلى الشهري (أو تمديد المثيل الشهري بمدة 3/6 أشهر بخصم الدفع المسبق) يلمس الجهاز. أيضًا: استعادة اللقطات إلى منطقة مختلفة، وإمكانية إعادة توليد رموز استرداد TOTP، وخطافات واجهة برمجة التطبيقات لإشعارات فشل التجديد، وترجمات أوكرانية وتركية للوحة التحكم.

حامل واحد وأربع عقد، بيعت جميعها مسبقًا لقائمة الانتظار. المثير للاهتمام: كفاءة استهلاك الطاقة من المأخذ مقارنة بـH100 في اختبار تدريب FP8 الذي نجريه لاختبار التحميل تبلغ نحو 2.1× لكل واط. الأقل إثارة: ترقية ممر البسبار التي احتاجها.

منصة MI300X واحدة من نوع 8-way في DFW-1 لمن طلبوا 192 غيغابايت من ذاكرة HBM بسعر ليس سعر H200. يتضمن العرض قالب ROCm 6.4. كما وصلت أول 240 بطاقة RTX 5090 موزعة على المناطق الثلاث؛ طرازات المروحة النافخة فقط، لأن البطاقات التجارية ذات المراوح الثلاث وقدرة 575 واط لا مكان لها في الحامل.

نفس عامل شكل HGX المستخدم في عقد H100 لدينا، لذا كان التجهيز هادئًا بلا مفاجآت. ذاكرة 141 غيغابايت لكل بطاقة تعني أن نموذجًا بحجم 70B بترميز BF16 يتسع على بطاقتين مع مساحة متبقية لدفعة. السعر 2,290 دولارًا شهريًا للبطاقة، وهو الرقم الذي لا يزال في صفحة استئجار H200.

المنطقة الثالثة. منشأة تعمل بالطاقة الكهرومائية، ومناخ بارد، وزمن انتقال جيد إلى الساحل الغربي ومنطقة آسيا والمحيط الهادئ. تُفتتح بمخزون من L40S وA100 و4090؛ وتتبعها عقد H100 في الربع الرابع.

أعدنا كتابة واجهة برمجة التطبيقات، ثم أعدنا كتابة لوحة التحكم بحيث لا تستخدم سوى الواجهة العامة. إذا كان الشيء ممكنًا في لوحة التحكم، فهو ممكن باستخدام curl. أصبحت v1 قديمة مع مهلة نهائية مدتها 12 شهرًا.

كان الحصول على الحصة صعبًا في أوائل 2023. حصلنا على خمسين بطاقة PCIe لـDFW-1؛ وجاءت عقد SXM بعد عشرة أشهر. كل بطاقة من تلك البطاقات الخمسين الأولى ما تزال في الخدمة.

تُفتتح IAD-1 بـ300 وحدة GPU، معظمها A6000 وA40، مع بطاقات 3090 نُقلت من دالاس. تأخر الافتتاح يومين بسبب ربط شبكي متقاطع؛ انظر صفحة الحالة للاطلاع على الرواية الصادقة.

أكثر ميزة طُلبت في سنتنا الأولى. تُضاف إيداعات XMR بعد 10 تأكيدات بسعر السوق الفوري عند أول تأكيد، تمامًا كأي شيء آخر. نشغّل عقدتنا الخاصة، وما زلنا نفعل: انظر استضافة GPU بالدفع عبر مونيرو.

حامل واحد، وقفص واحد، ومبدّل واحد (كنا سنتعلم لاحقًا بخصوص ذلك)، وأربعون بطاقة 3090، وصفحة تسعير فيها صف واحد بالضبط. فترات شهرية لأن هذه هي الطريقة التي كنا نرغب في استئجار GPU بها. بيتكوين وإيثريوم لأن هذا ما كان لدينا. لا KYC لأننا لا نرغب في الاحتفاظ بجواز سفرك كما لا ترغب أنت في إعطائنا إياه. بعد خمس سنوات، ما تزال استضافة GPU بدون KYC تعمل بهذه الطريقة تمامًا.