L40S or A100, for serving a model?

If the model fits in 48 GB and the traffic is moderate, the L40S is cheaper and does more. If you are pushing the card flat out at a large batch size, the A100 reads its weights about twice as fast and will serve more requests a second despite having less compute on paper. And if the model does not fit in 48 GB, the A100 80 GB is the answer and the L40S is not.

Can I pool two L40S cards to get 96 GB?

No. This part has no NVLink, so two cards are two separate 48 GB pools communicating over the PCIe slot. A model larger than 48 GB has to be split across them deliberately by your framework. For one address space larger than 48 GB, use the 80 GB or 96 GB cards instead.

Is the L40S shared, sliced or virtualised?

Not by Primcast. One tenant per physical machine and the card passed straight through to your own operating system -- no hypervisor, no MIG partition, no vGPU profile, no time-slicing. The card supports vGPU, so you may slice it between your own virtual desktops if you want to; that is your decision on your own machine, not something done to it beforehand.

Does the L40S really support AV1?

Yes, encode and decode, on all three of its hardware encoders and decoders. That is the specific thing the RTX 30 series cannot do at all and the A100 and H100 accelerators cannot do at all.

How soon can I have an L40S server?

It depends on whether the card is already fitted, already on the shelf, or has to be bought in, and you are told which before you pay rather than after. Machines racked and ready right now are listed at https://primcast.com/instant.

NVIDIA L40S · 48 GB GDDR6 ECC

L40S — üç işi de yapan kart

Tek bir kart üzerinde 48 gigabayt hata düzeltmeli bellek, AV1 destekli üç donanım kodlayıcı ve ışın izleme çekirdekleri. Bu, bir modeli eğitebilen, bir kareyi işleyebilen ve bir akışı dönüştürebilen, bu üç işlemden hiçbirinde ödün vermeyen tek kartımız. Ancak işin püf noktası var ve bu sayfada belirtiliyor.

48 GB, ECC Üç kodlayıcı, AV1 NVLink yok

Makinenin maliyeti ne kadar?

Öncelikle, yakalanması gereken nokta şu:

Bu kartın yapamadığı iki şey var ve bu iki şey de onu yanındaki hızlandırıcı kartlardan daha ucuz kılıyor.

Belleği hızlı, yığılmış değil. L40S saniyede 864 GB okuma hızına sahip. Yanındaki A100 ise 40 GB ile saniyede 1.555 GB, 80 GB ile ise saniyede 1.935 GB okuma hızına sahip; yani yaklaşık iki kat daha hızlı. Büyük toplu işlem boyutunda token üretimi için bu okuma hızı tavan değerdir, aritmetik işlem ise değildir; bu nedenle, L40S kağıt üzerinde daha fazla ham işlem gücüne sahip olsa bile, A100 aynı modelden saniyede daha fazla istek karşılayacaktır. Eğer asıl sorununuz veri işleme hızı ise, hızlandırıcı doğru bir satın alma olacaktır.

Bu kartta NVLink özelliği bulunmamaktadır. Bir makinedeki iki L40S kartı, yuva üzerinden iletişim kuran iki ayrı 48 GB'lık havuzdur, tek bir 96 GB'lık havuz değildir. A100 ve H100 havuzlama yapabilir; bu yapamaz. Gerçekten 48 GB'tan daha büyük bir adres alanına ihtiyacınız olduğunda, bu kart size bu imkanı sağlamaz; aşağıdaki sıralama size bu imkanı sağlar.

Across the 56 cards in the catalogue: L40S holds 48 GB, 4 cards we fit hold more, and 8 cost more per month. Read the whole ladder on the whole catalogue, priced.

NVIDIA'nın yayınladığı teknik özellikler

Ada Lovelace, dördüncü nesil tensör çekirdekleri, üçüncü nesil ışın izleme çekirdekleri. Bu bilgiler, bu sayfanın kaynağında belirtilen NVIDIA'nın kendi L40S ürün sayfasından alınmıştır.

L40S

Architecture

Ada Lovelace

Card memory

48 GB GDDR6 ECC

CUDA cores

18,176

Memory bandwidth

864 GB/s

Board power

350 W

Card interface

PCIe Gen 4 x16

Hardware video encoders

3 NVENC, 3 NVDEC, AV1

Error-correcting memory

Yes

NVIDIA ayrıca 142 ışın izleme çekirdeği ve 568 tensör çekirdeğinden elde edilen 91,6 teraFLOPS FP32, 212 teraFLOPS ışın izleme performansı ve seyrek bellek kullanımıyla 1.466 teraFLOPS FP8 tensör işleme kapasitesi değerlerini de yayınlıyor. Bunlar ideal koşullar altında elde edilen en yüksek değerlerdir; yukarıda belirtilen bellek bant genişliği genellikle gerçekte elde edeceğiniz performansı belirler.

Ne konuda iyidir?

Şunu da belirtmişken: İşte bu kartın gerçekten doğru cevap olduğu iş.

İçinde video bulunan bir boru hattı

Her iki yönde de AV1 desteğiyle üç kodlayıcı ve üç kod çözücü. Görüntü alımı, dönüştürme ve sunma işlemleri, karelerle ne yapılacağına karar veren modelin çalıştığı aynı kart üzerinde gerçekleşir. Ne A100 ne de H100, tek bir kareyi donanımda kodlayamaz; bu kartlarda video, işlemci işidir.

Doğru olması gereken bir görselleştirme.

Hata düzeltme özellikli bellek ve üçüncü nesil ışın izleme çekirdekleri. Tüketici kartlarındaki bir render çiftliği, kare başına daha az maliyetlidir ve bazen içinde ters çevrilmiş bir bit bulunan bir kare üretir; uzun süreli ve gözetimsiz bir işte bu, yeniden çalıştırma anlamına gelir. Bu kart, her birinin arkasında ECC bulunan kırk sekiz gigabayt bellek sunar; bu da sürekli gözetim altında tutamayacağınız bir işin gerçekten ihtiyaç duyduğu şeydir.

Sanal masaüstleri ve koltuklar

L40S, vGPU'yu destekler ve dört DisplayPort çıkışı sunar; bu da onu başsız bir hızlandırıcıdan ziyade sanal iş istasyonları arasında bölüştürebileceğiniz bir kart haline getirir. A100 ve H100'ün ise hiç ekran çıkışı yoktur.

Modelin 48 GB'a uyduğu çıkarım

FP8 tensör desteği ve sekiz bit hassasiyette otuz milyar parametreli bir model için yeterli kapasite, hatta fazlasıyla yer mevcut. Orta düzeyde bir toplu işlem boyutuyla gerçek trafiğe yanıt veren bir uç nokta için, yukarıdaki bant genişliği sınırı nadiren tıkanır; ancak kartı sonuna kadar zorladığınızda tıkanır.

Yerini aldığı şey ve onun iki yanında bulunanlar

Tedarikçi ürün gamından değil, kendi raflarımızdan. Tüm bu ürünler bugün sipariş edilebilir.

Cheapest complete machine first. Every figure read from the order catalogue when this page was served.
Card	Card memory	The card	Cheapest complete machine
L40S	48 GB GDDR6 ECC	$449	$532.67
A40	48 GB GDDR6	$499	$572.47
RTX 6000 ADA	48 GB GDDR6 ECC	$625	$698.47
A100 40GB	40 GB HBM2	$699	$772.47
A100 80GB	80 GB HBM2e	$899	$972.47

A40, L40S'in yerini alan Ampere karttır; aynı 48 GB belleğe, daha eski bir mimariye, AV1 ve FP8 desteğine sahip değildir. RTX 6000 Ada ise aynı kapasiteye ve aynı nesile sahip iş istasyonu kartıdır. A100 serisi ise kapasiteden ziyade bant genişliği veya havuzlama kısıtlaması söz konusu olduğunda tercih edilen karttır ve hızlandırıcılar sayfası bu konuyu ayrıntılı olarak ele almaktadır.

Hangi makineye giriyor ve oraya hangi bağlantıyla ulaşıyor?

L40S, PCIe Gen 4 bir karttır. Bu kartı destekleyen iki platformdan biri Gen 3, diğeri ise Gen 4'tür.

Intel Xeon Silver / Gold

L40S

Slot: PCIe 3.0, 48 lanes per socket. Card: PCIe Gen 4.

About half the bus the card was designed for. That costs a training loop streaming batches off the host; it costs an inference server or a transcoder nothing, because the weights are already on the card.

AMD EPYC

L40S

Slot: PCIe 4.0, 128 lanes per socket. Card: PCIe Gen 4.

Full width. The slot is at least the generation the card was designed for, so nothing is left on the table.

Çıkarım uç noktası veya dönüştürücü için, yuva oluşturma neredeyse önemsizdir; ağırlıklar yerleşiktir ve çerçeveler küçüktür. Ancak, her adımda ana bilgisayardan yeni veri kümeleri aktaran bir eğitim döngüsü için önemlidir ve bu durumda Gen 4 platformu aradaki farka değer.

48 GB'a aslında neler sığar?

Weights only, rounded up. A row counts as fitting when it leaves a fifth of the card’s 48 GB free for the KV cache, the activations and the runtime — which is head-room, not luxury.
Model	16-bit	8-bit	4-bit
7-8 billion parameters	16 GB — fits	8 GB — fits	5 GB — fits
13-14 billion parameters	28 GB — fits	14 GB — fits	8 GB — fits
30-34 billion parameters	68 GB — does not fit	34 GB — fits	19 GB — fits
70 billion parameters	140 GB — does not fit	70 GB — does not fit	38 GB — fits

Bu kart 350 W'a kadar güç tüketiyor; bu, kendi sınıfı için mütevazı bir değer ve daha büyük bir hızlandırıcı kartın sığmadığı kasalara sığmasının nedenlerinden biri.

Makineyle birlikte maliyeti ne kadar?

Faturada kart bir satır, makine ise başka bir satır olarak yer alıyor. Aşağıdaki iki bölüm de sipariş kataloğunun tek bir okumasından elde edildiği için, fiyat ve yanındaki özellikler her zaman birbirine aittir.

Read from the order catalogue when this page was served. The card is a separate line; the machine does not get dearer because of what is plugged into it.
Card	The machine it goes in	The card	Complete, per month
L40S	Intel Xeon Silver / Gold Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · PCIe 3.0	$449	$532.67 Configure this build →
L40S	AMD EPYC AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps · PCIe 4.0	$449	$666.59 Configure this build →

Bant genişliği her iki yönde de sınırsızdır, çıkış ücreti yoktur, bir IPv4 adresi dahildir, sözleşme yoktur ve varsayılan süre bir aydır. Takacağımız diğer tüm kartlar için de aynı fiyatlandırma geçerlidir, tüm kataloğu inceleyin, fiyatlar şu şekildedir : . Bugün kullanıma hazır, rafa monte edilmiş makineler için, /instant .

İnsanların bu kartla ilgili gerçekten sorduğu sorular

L40S mi yoksa A100 mü, hangi modele hizmet edecek?

Eğer model 48 GB kapasiteye uygunsa ve trafik orta düzeydeyse, L40S daha ucuz ve daha fazla performans sunuyor. Eğer kartı yüksek işlem hacmiyle tam kapasite kullanıyorsanız, A100 yaklaşık iki kat daha hızlı işlem gücü sunar ve kağıt üzerinde daha az işlem gücüne sahip olmasına rağmen saniyede daha fazla isteği karşılar. Ve eğer model 48 GB kapasiteye uygun değilse, A100 80 GB çözüm olur ve L40S uygun olmaz.

İki tanesini birleştirerek 96 GB elde edebilir miyim?

Hayır. Bu parçada NVLink yok, bu nedenle iki kart, yuva üzerinden iletişim kuran iki ayrı 48 GB'lık havuzdur. 48 GB'tan daha büyük bir model, çerçeve sisteminiz tarafından kasıtlı olarak, yuva bağlantı noktası olarak kullanılarak, bu iki kart arasında bölünmelidir. 48 GB'tan daha büyük bir adres alanı istiyorsanız, bunun yerine yukarıdaki listede yer alan 80 GB ve 96 GB'lık kartlara bakın.

Kart paylaşımlı mı, dilimlenmiş mi yoksa sanallaştırılmış mı?

Bizce değil. Fiziksel makine başına bir kiracı ve kart doğrudan kendi işletim sisteminize aktarılıyor — hipervizör yok, MIG bölümü yok, vGPU profili yok, zaman dilimleme yok. Kart vGPU'yu destekliyor, bu nedenle kendi sanal masaüstleriniz arasında dilimlemek isterseniz bunu yapabilirsiniz; bu, kendi makinenizde vereceğiniz bir karar, bizim önceden yaptığımız bir şey değil.

Gerçekten AV1'i destekliyor mu?

Evet, üç donanım kodlayıcısı ve kod çözücüsünün tamamında kodlama ve kod çözme yapabilir. Bu, RTX 30 serisinin ve hızlandırıcıların hiç yapamadığı bir şeydir ve bu kartın kısa listede yer almasının sık görülen nedenidir.

Ne kadar sürede alabilirim?

Kartın zaten takılı olup olmadığına, raflarımızda hazır bulunup bulunmadığına veya satın alınması gerekip gerekmediğine bağlıdır; ve bu durum size ödeme yapmadan önce bildirilir, sonrasında değil. /instant, şu anda raflarda hazır bulunan makineleri listeler.