GPU Rent Hub는 모든 하드웨어 입고, 사고, 대시보드 릴리스를 이 페이지에 기록합니다. 2021년 3월 DFW-1의 첫 RTX 3090 40장부터 케이지 4의 B200 노드까지 열세 개의 글이 이어집니다. 하드웨어 입고, 고장난 것들, 대시보드에서 바뀐 것. 작업한 사람이 직접 씁니다. 뉴스레터는 없습니다. RSS 피드가 있습니다.
HGX B200 2차 물량이 8월 19일에 도착했고, 일주일간 번인을 거쳐 오늘 아침 대기 명단이 해소되었습니다. 8-way 노드 8대가 운영 중이며, IAD-1용으로 랙 2대를 추가 주문했고 11월을 목표로 합니다. 제약은 공급이 아니라 전력입니다. B200 노드 한 대는 콘센트 기준 ~10.2 kW를 소비해서, 이들을 위해 케이지 4에 415 V 부스웨이를 증설해야 했습니다.
단일 GPU B200 인스턴스는 제공할 수 없습니다. 부품이 8-way 베이스보드로만 존재하기 때문입니다. 그래서 최소 단위는 2× (하프 노드, NVLink 분할)이며 $7,391/mo입니다. 이는 카드 2장 가격 $3,890에서 5% 2-GPU 할인을 뺀 값입니다. 지역별 실시간 재고는 B200 임대 페이지에 있습니다.
모든 인스턴스의 NVMe는 LUKS2 볼륨이고, 프로비저닝 시 생성된 키를 호스트 TPM에 보관하며 해당 인스턴스 ID에 봉인됩니다. 인스턴스를 반환하면 TPM에 키 폐기를 요청합니다. 그 시점부터 드라이브 내용은 어디에도 키가 없는 암호문입니다. 그 다음 blkdiscard로 네임스페이스를 버리고, 2,000개의 무작위 LBA를 샘플링해 0으로 읽히는지 확인하는 30초 검증 패스를 실행합니다. 그 후에야 슬롯이 재고로 돌아갑니다. 이 과정으로 반환에 약 90초가 추가됩니다. 우리는 그럴 가치가 있다고 봅니다.
인스턴스를 주간에서 월간으로 전환하거나, 월간 인스턴스를 선불 할인으로 3/6개월 연장해도 더 이상 머신을 건드리지 않습니다. 또한 다른 지역으로의 스냅샷 복원, 재생성 가능한 TOTP 복구 코드, 갱신 실패에 대한 API 웹훅, 대시보드의 우크라이나어 및 터키어 번역이 추가되었습니다.
랙 1대, 노드 4대, 모두 대기 명단에 선판매되었습니다. 흥미로운 점: 번인용으로 실행하는 FP8 학습 벤치마크에서 H100 대비 콘센트 기준 효율이 와트당 약 2.1×입니다. 덜 흥미로운 점: 이를 위해 부스웨이 증설이 필요했다는 것입니다.
DFW-1에 8-way MI300X 플랫폼 1대를 배치했습니다. H200이 아닌 가격으로 192 GB HBM을 원하던 분들을 위한 것입니다. ROCm 6.4 템플릿이 포함됩니다. 그리고 첫 RTX 5090 240장이 세 지역 전체에 분산 배치됩니다. 575 W 트리플 팬 리테일 카드는 랙에 어울리지 않으므로 블로워 모델만 사용합니다.
H100 노드와 동일한 HGX 폼 팩터라 프로비저닝은 무난했습니다. 카드당 141 GB이므로 BF16 70B 모델은 카드 2장에 배치 여유를 두고 들어갑니다. 가격은 카드당 $2,290/mo이며, 이는 H200 임대 페이지에 있는 그 숫자 그대로입니다.
세 번째 지역입니다. 수력 전력 시설, 서늘한 기후, 미국 서부 해안과 아시아-태평양으로의 양호한 지연 시간을 갖췄습니다. L40S, A100, 4090 재고로 시작하며 H100 노드는 4분기에 들어옵니다.
API를 다시 작성한 다음, 대시보드가 공개 API만 사용하도록 다시 작성했습니다. 대시보드에서 가능한 일은 curl로도 가능합니다. v1은 12개월 유예 기간을 두고 폐기됩니다.
2023년 초에는 할당을 받기가 어려웠습니다. DFW-1용 PCIe 카드 50장을 확보했고, SXM 노드는 10개월 뒤에 들어왔습니다. 그 첫 50장은 전부 아직도 운용 중입니다.
IAD-1은 GPU 300대로 시작합니다. 대부분 A6000과 A40이며 3090은 댈러스에서 옮겨왔습니다. 크로스커넥트 때문에 이틀 지연되었습니다. 솔직한 내용은 상태 페이지에서 확인하세요.
첫해에 가장 많이 요청된 기능입니다. XMR 입금은 다른 모든 것과 마찬가지로 첫 확인 시점의 시세로 10회 확인 후 입금 처리됩니다. 우리는 자체 노드를 운영하며 지금도 운영 중입니다. Monero GPU 호스팅을 참조하세요.
랙 1대, 케이지 1개, 스위치 1대(그것에 대해서는 나중에 배우게 됩니다), RTX 3090 40장, 그리고 행이 정확히 하나뿐인 가격 페이지. GPU를 빌릴 때 우리가 원하는 방식이라 월 단위 약정으로 했습니다. 우리가 가진 것이라 Bitcoin과 Ethereum을 받았습니다. 여러분이 우리에게 여권을 주고 싶지 않은 만큼 우리도 여러분의 여권을 보관하고 싶지 않아서 KYC를 하지 않습니다. 5년이 지난 지금도 무-KYC GPU 호스팅은 정확히 그 방식으로 작동합니다.