Hızlandırıcılar — ve yapamayacakları

İnsanların şaşırdığı iki şey

Video kodlayamazlar. Hiç.

NVIDIA’nın kendi kodlama ve kod çözme destek matrisi, A100'de sıfır NVENC motoru ve H100'de sıfır NVENC motoru kaydeder. Kod çözerler — A100'de beş motor, H100'de yedi motor — ancak kart üzerinde kodlayıcı yoktur, bu nedenle bu kartların ürettiği her kare işlemci tarafından kodlanmak zorundadır. İş hattınızdan video çıkıyorsa, bu yanlış raftır ve üç AV1 kodlayıcısıyla L40S doğru olandır. Bu, /l40s adresinde bir sayfa ötede.

Bu kartların ayrıca görüntü çıkışı yoktur. Bunlar başsız işlem parçalarıdır. Çerçeve arabelleği bekleyen hiçbir şey — sanal masaüstü, uzak iş istasyonu, oyun sunucusu — onlara ait değildir.

A100 eskimiş değildir ve 40 GB kart bir hata değildir

A100 önceki nesildir ve ağırlıklarını 40 GB ile 1.555 GB/sn ve 80 GB ile 1.935 GB/sn hızında okur. Sığan bir model için, saniyede kaç token alacağınızı belirleyen şey bu okuma hızıdır ve katalogdaki yığılmamış her kartın çok önünde kalmaya devam eder. 40 GB kart, sekiz bit hassasiyette otuz milyar parametreli bir modeli rahatça tutar; bu, insanların gerçekte sunduğu şeylerin çoğudur ve H100'ün aylık maliyetinin çok altında bir fiyata.

Model gerçekten Hopper'a ihtiyaç duyduğunda — transformer motoru, FP8, daha yeni tensor birimleri — veya çalışmanın yalnızca bitmesi değil, daha erken bitmesi gerektiğinde H100 satın alın. Soru sığıp sığmadığı ve ne kadar hızlı okuduğu olduğunda A100 satın alın; bu daha yaygın sorudur.

Yayınlandığı şekliyle teknik özellikler

Rakamlar NVIDIA’nın kendi veri sayfalarından ve Tesla teknik özellik tablolarından alınmıştır; bu sayfanın kaynağında belirtilmiştir. Bir rakam, taktığımız tam parçaya göre doğrulanamadığında, bu sayfa tahmin yerine hiçbir şey yazdırmaz.

H100 yukarıda çekirdek sayısı ve bant genişliği göstermiyor ve bu bilinçli bir tercihtir. Parçamız mağazada SXM modülüne ait bir çekirdek sayısı altında kayıtlıdır; bu, bir yuvaya değil, bir taban kartına cıvatalanan bir karttır; ayrıca kaydettiği 80 GB HBM2e bellek, bu makinelere gerçekte takılan PCIe kartına aittir. Birini seçip güvenle yazdırmak yerine, sayfa her iki kaynağın üzerinde anlaştığı belleği yazdırır ve gerisini atlar. Bize sorun, size tam olarak hangi kartın takılacağını söyleyelim.

Üçü yan yana ve üstte ne var

Kendi raflarımızdan. Bunların hepsi bugün aynı kasada sipariş edilebilir, bu nedenle soru hangisinin farka değdiğidir.

Son satır orada çünkü dürüst karşılaştırma budur ve çoğu liste bunu gizler: RTX PRO 6000 Blackwell 96 GB tutar, bu sayfadaki herhangi bir hızlandırıcıdan daha fazla. Belleğini ve parasını yukarıdaki tabloda H100'ünkine karşı okuyun; ikisi için de bizim sözümüze güvenmeyin. Vazgeçtiği şey okuma hızı ve NVLink'tir; kazandığı şey dört video kodlayıcı ve ışın izlemedir. Sorunuz sığacak mı ise, bu rafa bağlanmadan önce /rtx60 adresini okuyun.

Hangi makineye girerler ve orada hangi bağlantıyı alırlar

A100 bir PCIe Gen 4 kartıdır ve H100 Gen 5'tir; platformlarımız ise Gen 3 ve Gen 4'tür. Bu nedenle H100, çalıştırdığımız hiçbir makinede tasarlandığı tam veri yolunu asla alamaz ve bu sayfa bunu söyler; sizin keşfetmenize bırakmaz.

Bunun size bir maliyeti olup olmadığı tamamen işin şekline bağlıdır. Ağırlıkları yerleşik olan bir çıkarım uç noktası yuvaya neredeyse hiç dokunmaz ve fark etmez. Her adımda ana bellekten yeni bir parti akışı yapan bir eğitim döngüsü her adımda fark eder. Hangisi olduğunuzdan emin değilseniz, sipariş vermeden önce bize işin ne olduğunu söyleyin — makineyi belirleyen kart değil, budur.

80 GB'a gerçekte ne sığar

40 GB A100 aynı tabloyu bir basamak aşağıda tutar: otuz ila otuz dört milyar parametreli bir model yalnızca dört bitte yer kalacak şekilde sığar ve sekiz bitte 34 GB ağırlık sıkı çıtayı bile aşamaz. On altı bitte yetmiş milyarlık bir model sattığımız hiçbir tek karta sığmaz — bu iki kartlı bir yapılandırmadır ve yukarıdaki NVLink satırının önemli olmasının nedenidir.

Bu tablo “bu karta ne sığar” sorusunu yanıtlar. Ters yöndeki soru — bir modelin ne kadar belleğe ihtiyacı olduğu ve hangi kartın bunu karşıladığı — kendi sayfasıdır.

Girdikleri makinelerle birlikte maliyetleri

Kart faturada bir satırdır ve makine başka bir satırdır. Aşağıdaki her iki yarı da sipariş kataloğunun tek bir okumasından gelir, bu nedenle fiyat ve yanındaki teknik özellik her zaman birbirine aittir.

Bant genişliği her iki yönde de ölçülmez ve çıkış ücreti yoktur; bu rafta bu genellikle başka yerlerdeki en büyük gizli maliyettir — bir veri kümesini içeri çeken ve kontrol noktalarını dışarı iten bir eğitim çalışması çok sayıda bayt taşır ve gigabayt başına çıkış ücreti bunların her birinden alınır. Bir IPv4 adresi dahildir, sözleşme yoktur ve varsayılan süre bir aydır. Taktığımız diğer tüm kartlar için, aynı şekilde fiyatlandırılmış olarak, tüm kataloğu fiyatlı olarak okuyun. Bugün rafa yerleştirilmiş ve hazır makineler için /instant.