Hızlandırıcılar ve yapamayacakları şeyler

İnsanların şaşırdığı iki şey

Video kodlama yetenekleri yok. Hiçbir şekilde.

NVIDIA'nın kendi kodlama ve kod çözme destek matrisi, A100 ve H100'de sıfır NVENC motoru kaydediyor. Kod çözme işlemi yapıyorlar (A100'de beş, H100'de yedi motor), ancak kart üzerinde kodlayıcı bulunmuyor, bu nedenle bu kartların ürettiği her kare işlemci tarafından kodlanmak zorunda. Eğer işlem hattınızdan video çıkışı geliyorsa, bu yanlış raftır ve üç AV1 kodlayıcısına sahip L40S doğru olanıdır. Bu, /l40s adresinde bir sayfa ötede yer almaktadır.

Bu kartların ayrıca ekran çıkışı da yoktur. Bunlar, başsız işlem birimleridir. Sanal masaüstü, uzaktan çalışma istasyonu, oyun sunucusu gibi çerçeve arabelleği gerektiren hiçbir şey bunlara ait değildir.

A100 modeli eskimiş değil ve 40 GB'lık kart da bir hata değil.

A100, önceki nesildir ve 40 GB ile 1.555 GB/s, 80 GB ile ise 1.935 GB/s hızında veri okur. Uygun bir model için bu okuma hızı, saniyede kaç token alacağınızı belirler ve katalogdaki tüm yığılı olmayan kartlardan çok daha öndedir. 40 GB'lık kart, sekiz bit hassasiyetle otuz milyar parametreli bir modeli rahatlıkla saklar; bu da insanların gerçekte kullandığı verilerin çoğunu, H100'ün aylık maliyetinin çok daha düşük bir kısmına denk gelir.

Modelin gerçekten Hopper'a (transformatör motoru, FP8, yeni tensör üniteleri) ihtiyacı olduğunda veya işlemin sadece bitmesi değil, daha erken bitmesi gerektiğinde H100'ü satın alın. Uygun olup olmadığı ve ne kadar hızlı okuduğu sorusu daha yaygın olan durumlarda ise A100'ü satın alın.

Yayınlanan özellikler

Bu sayfanın kaynağında belirtilen veriler, NVIDIA'nın kendi veri sayfalarından ve Tesla teknik özellik tablolarından alınmıştır. Bir verinin tam olarak taktığımız parçaya karşılık gelen bir değerle eşleştirilemediği durumlarda, bu sayfada tahmini bir değer yerine hiçbir şey yazdırılmamıştır.

H100'de çekirdek sayısı ve bant genişliği bilgisi gösterilmiyor ve bu kasıtlı. Bizim parçamız, mağazada SXM modülüne ait bir çekirdek sayısı altında kaydedilmiş durumda; bu modül, bir yuvaya değil, anakarta vidalanan bir karttır. Ayrıca kaydedilen 80 GB HBM2e bellek de, bu makinelerde gerçekten kullanılan PCIe kartına aittir. Sayfa, birini seçip güvenle yazdırmak yerine, her iki kaynağın da üzerinde anlaştığı belleği yazdırır ve geri kalanını atlar. Bize sorun, size tam olarak hangi kartın sizin makinenize takılacağını söyleyelim.

Üçü yan yana ve üstlerinde ne var?

Kendi raflarımızdan. Bunların hepsi aynı kasada bugün sipariş edilebilir, bu yüzden soru şu: Hangisi aradaki farka değer?

Son satır, dürüst bir karşılaştırma olduğu ve çoğu listede gizlendiği için orada: RTX PRO 6000 Blackwell, bu sayfadaki herhangi bir hızlandırıcıdan daha fazla olan 96 GB belleğe sahip. Yukarıdaki tabloda H100 ile karşılaştırarak bellek ve fiyat performans değerlerini okuyun, bizim sözümüze güvenmeyin. Kaybettiği özellikler okuma hızı ve NVLink; kazandığı özellikler ise dört video kodlayıcı ve ışın izleme. Eğer sorunuz " sığacak mı?" ise, bu rafa karar vermeden önce /rtx60'ı okuyun.

Hangi makineye giriyorlar ve orada hangi bağlantıya ulaşıyorlar?

A100, PCIe Gen 4 kartıdır ve H100 ise Gen 5'tir; oysa platformlarımız Gen 3 ve Gen 4'tür. Bu nedenle H100, çalıştırdığımız hiçbir makinede tasarlandığı tam veri yoluna asla ulaşamaz ve bu sayfa bunu size bildirmek yerine sizin kendiniz keşfetmenizi sağlamaz.

Bunun size bir maliyeti olup olmadığı tamamen işin şekline bağlıdır. Ağırlıkları yerleşik olan bir çıkarım uç noktası, yuvaya neredeyse hiç dokunmaz ve fark etmez. Her adımda ana bellekten yeni bir veri grubu aktaran bir eğitim döngüsü ise her adımda fark edecektir. Hangisi olduğunuzdan emin değilseniz, sipariş vermeden önce bize işin ne olduğunu söyleyin; makineyi belirleyen kart değil, işin kendisidir.

80 GB'a aslında neler sığar?

40 GB'lık A100, aynı tabloyu bir alt seviyede tutuyor: sekiz bit hassasiyette otuz ila otuz dört milyar parametreli bir model sığarken, aynı model on altı bit hassasiyette sığmıyor. On altı bit hassasiyette yetmiş milyar parametreli bir model, sattığımız hiçbir tek karta sığmıyor; bu iki kartlı bir yapı gerektiriyor ve yukarıdaki NVLink satırının önemi de buradan kaynaklanıyor.

Makinelerin maliyeti ne kadar, hangi makinelerle birlikte kullanılıyorlar?

Faturada kart bir satır, makine ise başka bir satır olarak yer alıyor. Aşağıdaki iki bölüm de sipariş kataloğunun tek bir okumasından elde edildiği için, fiyat ve yanındaki özellikler her zaman birbirine aittir.

Bant genişliği her iki yönde de sınırsızdır ve çıkış ücreti yoktur; bu, bu rafta genellikle başka yerlerdeki en büyük gizli maliyettir — bir eğitim çalışması veri setini içeri çeker ve kontrol noktalarını dışarı gönderir, bu da çok sayıda bayt taşır ve her bir gigabayt için çıkış ücreti alınır. Bir IPv4 adresi dahildir, sözleşme yoktur ve varsayılan süre bir aydır. Aynı şekilde fiyatlandırılan diğer tüm kartlar için, fiyatlandırılmış kataloğun tamamını okuyun. Bugün kullanıma hazır makineler için, /instant .