L40S or A100, for serving a model?

If the model fits in 48 GB and the traffic is moderate, the L40S is cheaper and does more. If you are pushing the card flat out at a large batch size, the A100 reads its weights about twice as fast and will serve more requests a second despite having less compute on paper. And if the model does not fit in 48 GB, the A100 80 GB is the answer and the L40S is not.

Can I pool two L40S cards to get 96 GB?

No. This part has no NVLink, so two cards are two separate 48 GB pools communicating over the PCIe slot. A model larger than 48 GB has to be split across them deliberately by your framework. For one address space larger than 48 GB, use the 80 GB or 96 GB cards instead.

Is the L40S shared, sliced or virtualised?

Not by Primcast. One tenant per physical machine and the card passed straight through to your own operating system -- no hypervisor, no MIG partition, no vGPU profile, no time-slicing. The card supports vGPU, so you may slice it between your own virtual desktops if you want to; that is your decision on your own machine, not something done to it beforehand.

Does the L40S really support AV1?

Yes, encode and decode, on all three of its hardware encoders and decoders. That is the specific thing the RTX 30 series cannot do at all and the A100 and H100 accelerators cannot do at all.

How soon can I have an L40S server?

It depends on whether the card is already fitted, already on the shelf, or has to be bought in, and you are told which before you pay rather than after. Machines racked and ready right now are listed at https://primcast.com/instant.

NVIDIA L40S · 48 GB GDDR6, ECC destekli

L40S — üç işi birden yapan kart

Kırk sekiz gigabayt hata düzelten bellek, AV1 destekli üç donanım kodlayıcı ve ışın izleme çekirdekleri, tek bir kartta. Sunduğumuz kartlar arasında bir modeli eğiten, bir kareyi işleyen ve bir yayını dönüştüren tek karttır; üçünden hiçbirinde ödün vermeden. İşin püf noktası gerçektir ve bu sayfa onu açıkça belirtir.

48 GB, ECC Üç kodlayıcı, AV1 NVLink yok

Makineyle birlikte maliyeti

GPU'larınızı pasif aylık gelire dönüştürün

Atıl sunucu veya masaüstü GPU kurulumlarınız mı var? Bugün Primcast pazarında listeleyin ve üretim düzeyinde işlem gücüne ihtiyaç duyan yapay zeka ekiplerinden, geliştiricilerden ve kuruluşlardan düzenli aylık kira geliri elde edin.

Pazara Git

Önce işin püf noktası

Bu kartın yapamadığı iki şey var ve ikisi de yanında durduğu hızlandırıcılardan daha ucuz olmasının nedenidir.

Belleği hızlıdır, yığılmış değildir. L40S 864 GB/s hızında okur. Yanındaki A100, 40 GB ile 1.555 GB/s, 80 GB ile 1.935 GB/s hızında okur — kabaca iki katı oran. Büyük bir yığın boyutunda belirteç üretimi için bu okuma hızı tavandır, aritmetik değildir; bu yüzden L40S kağıt üzerinde daha fazla ham işlem gücüne sahip olsa da aynı modelden saniyede daha fazla istek sunan A100 olur. Sunum verimi sorununuzun tamamıysa, doğru satın alma hızlandırıcıdır.

Bu parçada NVLink yoktur. Bir makinedeki iki L40S kartı, yuva üzerinden konuşan iki ayrı 48 GB havuzudur; tek bir 96 GB havuzu değil. A100 ve H100 havuzlayabilir; bu yapamaz. Gerçekten 48 GB'tan büyük tek bir adres alanına ihtiyacınız olduğunda, sizi oraya götüren kart bu değildir — aşağıdaki merdiven neyin götürdüğünü gösterir.

Across the 57 cards in the catalogue: L40S holds 48 GB, 4 cards we fit hold more, and 8 cost more per month. Read the whole ladder on the whole catalogue, priced.

NVIDIA'nın yayımladığı şekliyle teknik özellikler

Ada Lovelace, dördüncü nesil tensör çekirdekleri, üçüncü nesil ışın izleme çekirdekleri. Rakamlar NVIDIA'nın kendi L40S ürün sayfasından alınmıştır ve bu sayfanın kaynağında belirtilmiştir.

L40S

Architecture

Ada Lovelace

Card memory

48 GB GDDR6 ECC

CUDA cores

18,176

Memory bandwidth

864 GB/s

Board power

350 W

Card interface

PCIe Gen 4 x16

Hardware video encoders

3 NVENC, 3 NVDEC, AV1

Error-correcting memory

Yes

NVIDIA ayrıca 91,6 teraFLOPS FP32, 212 teraFLOPS ışın izleme performansı ve seyreklikle 1.466 teraFLOPS FP8 tensör verimi yayımlar; 142 RT çekirdeği ve 568 tensör çekirdeğinden. Bunlar ideal koşullardaki tepe rakamlarıdır; yukarıdaki bellek bant genişliği genellikle gerçekte ne elde ettiğinizi belirleyen değerdir.

Neyde iyidir

Püf noktasını belirttikten sonra: işte bu kartın gerçekten doğru yanıt olduğu işler.

İçinde video olan bir iş hattı

Her iki yönde AV1 destekli üç kodlayıcı ve üç kod çözücü. Karelerle ne yapılacağına karar veren modeli çalıştıran aynı kartta alın, dönüştürün ve sunun. Ne A100 ne de H100 donanımda tek bir kare bile kodlayamaz — bu kartlarda video bir CPU işidir. Bunun kaç canlı kanal sağladığı ve içine girdiği komple makine: canlı video dönüştürme sunucuları.

Doğru olması gereken işleme

Hata düzelten bellek ve üçüncü nesil ışın izleme çekirdekleri. Tüketici kartlarındaki bir işleme çiftliği kare başına daha ucuza gelir ve ara sıra içinde ters dönmüş bir bit bulunan bir kare üretir; uzun, gözetimsiz bir işte bu bir yeniden çalıştırmadır. Bu kart size kırk sekiz gigabayt verir ve her birinin arkasında ECC bulunur; başında bekleyemeyeceğiniz bir işin gerçekten ihtiyaç duyduğu şey budur.

Sanal masaüstleri ve koltuklar

L40S vGPU'yu destekler ve dört DisplayPort çıkışı sürer; bu da onu başsız bir hızlandırıcı yerine sanal iş istasyonları arasında dilimleyebileceğiniz bir kart yapar. A100 ve H100'ün hiç ekran çıkışı yoktur.

Modelin 48 GB'a sığdığı çıkarım

FP8 tensör desteği ve sekiz bit hassasiyetinde otuz milyar parametreli bir model için fazlasıyla yetecek kapasite. Mütevazı bir yığın boyutunda gerçek trafiğe yanıt veren bir uç nokta için yukarıdaki bant genişliği tavanı nadiren bağlayıcıdır — kartı sonuna kadar zorladığınızda bağlayıcı olur.

Neyin yerini aldı ve iki yanında ne oturuyor

Bir satıcı yol haritasından değil, kendi raflarımızdan. Bunların hepsi bugün sipariş edilebilir.

Cheapest complete machine first. Every figure read from the order catalogue when this page was served.
Card	Card memory	The card	Cheapest complete machine
L40S	48 GB GDDR6 ECC	$449	$532.67
A40	48 GB GDDR6	$499	$572.47
RTX 6000 ADA	48 GB GDDR6 ECC	$625	$698.47
A100 40GB	40 GB HBM2	$699	$772.47
A100 80GB	80 GB HBM2e	$899	$972.47

A40, L40S'in yerini aldığı Ampere kartıdır — aynı 48 GB, daha eski bir mimari, AV1 yok ve FP8 yok. RTX 6000 Ada, aynı kapasiteye ve aynı nesile sahip iş istasyonu kartıdır. A100'ler, bant genişliği veya havuzlama kapasiteden daha bağlayıcı bir kısıt olduğunda geçeceğiniz kartlardır ve hızlandırıcı sayfası bunları ayrıntılı olarak ele alır.

Hangi makineye girer ve orada hangi bağlantıyı alır

L40S bir PCIe Gen 4 kartıdır. Onu alan iki platformdan biri Gen 3, biri Gen 4'tür.

Intel Xeon Silver / Gold

L40S

Slot: PCIe 3.0, 48 lanes per socket. Card: PCIe Gen 4.

About half the bus the card was designed for. That costs a training loop streaming batches off the host; it costs an inference server or a transcoder nothing, because the weights are already on the card.

AMD EPYC

L40S

Slot: PCIe 4.0, 128 lanes per socket. Card: PCIe Gen 4.

Full width. The slot is at least the generation the card was designed for, so nothing is left on the table.

Bir çıkarım uç noktası veya dönüştürücü için yuva nesli neredeyse önemsizdir — ağırlıklar yerleşiktir ve kareler küçüktür. Her adımda ana makineden taze yığınlar akıtan bir eğitim döngüsü için önemlidir ve bu durumda Gen 4 platformu farka değer.

48 GB'a gerçekte ne sığar

Weights only, rounded up. **Fits** means the card’s 48 GB holds the weights 1.5× over — room for the KV cache, the activations and the runtime, and the only verdict the LLM sizing page recommends a card on. **Tight** clears 1.25× only: the model loads, and a long context or a second user runs the card out.
Model	16-bit	8-bit	4-bit
7-8 billion parameters	16 GB — fits	8 GB — fits	5 GB — fits
13-14 billion parameters	28 GB — fits	14 GB — fits	8 GB — fits
30-34 billion parameters	68 GB — does not fit	34 GB — tight	19 GB — fits
70 billion parameters	140 GB — does not fit	70 GB — does not fit	38 GB — tight

Kart 350 W'a kadar güç çeker; bu, sınıfı için mütevazıdır ve daha büyük bir hızlandırıcının sığmadığı kasalara sığmasının nedenlerinden biridir.

Bu tablo “bu karta ne sığar” sorusunu yanıtlar. Sorunun tersi — bir modelin ne kadar belleğe ihtiyacı olduğu ve hangi kartın bunu karşıladığı — kendi sayfasıdır.

İçine girdiği makineyle birlikte maliyeti

Kart faturada bir satırdır, makine başka bir satırdır. Aşağıdaki her iki yarı da sipariş kataloğunun tek bir okumasından gelir; bu yüzden fiyat ve yanındaki teknik özellik her zaman birbirine aittir.

Read from the order catalogue when this page was served. The card is a separate line; the machine does not get dearer because of what is plugged into it.
Card	The machine it goes in	The card	Complete, per month
L40S	Intel Xeon Silver / Gold Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · PCIe 3.0	$449	$532.67 Configure this build →
L40S	AMD EPYC AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps · PCIe 4.0	$449	$666.59 Configure this build →

Bant genişliği her iki yönde de ölçülmez ve çıkış ücreti yoktur; bir IPv4 adresi dahildir, sözleşme yoktur ve varsayılan süre bir aydır. Sunduğumuz diğer her kart için, aynı şekilde fiyatlandırılmış olarak tüm kataloğu fiyatlı olarak okuyun. Bugün rafa kaldırılmış ve hazır makineler için /instant.

İnsanların bu kart hakkında gerçekten sorduğu sorular

Bir modeli sunmak için L40S mi, A100 mü?

Model 48 GB'a sığıyorsa ve trafik orta düzeydeyse L40S daha ucuzdur ve daha fazlasını yapar. Kartı büyük bir yığın boyutunda sonuna kadar zorluyorsanız, A100 ağırlıklarını yaklaşık iki kat daha hızlı okur ve kağıt üzerinde daha az işlem gücüne sahip olmasına rağmen saniyede daha fazla istek sunar. Model 48 GB'a sığmıyorsa yanıt A100 80 GB'tır, L40S değildir.

96 GB elde etmek için ikisini havuzlayabilir miyim?

Hayır. Bu parçada NVLink yoktur; bu yüzden iki kart, yuva üzerinden iletişim kuran iki ayrı 48 GB havuzudur. 48 GB'tan büyük bir modelin çerçeveniz tarafından bilinçli olarak bunlar arasında bölünmesi gerekir; bağlantı olarak yuva kullanılır. 48 GB'tan büyük tek bir adres alanı istiyorsanız, yukarıdaki merdivendeki 80 GB ve 96 GB kartlara bakın.

Kart paylaşılıyor mu, dilimleniyor mu veya sanallaştırılıyor mu?

Bizim tarafımızdan hayır. Fiziksel makine başına bir kiracı ve kart doğrudan kendi işletim sisteminize geçirilir — hipervizör yok, MIG bölümü yok, vGPU profili yok, zaman dilimleme yok. Kart vGPU'yu destekler; bu yüzden kendi sanal masaüstleriniz arasında dilimlemek isterseniz yapabilirsiniz; bu, kendi makinenizde vereceğiniz bir karardır, bizim önceden yaptığımız bir şey değildir.

Gerçekten AV1 yapıyor mu?

Evet, üç donanım kodlayıcısının ve kod çözücüsünün hepsinde kodlama ve kod çözme. Bu, RTX 30 serisinin hiç yapamadığı ve hızlandırıcıların hiç yapamadığı belirli şeydir ve genellikle bu kartın kısa listede olmasının nedenidir.

Ne kadar sürede sahip olabilirim?

Kartın zaten takılı olup olmadığına, zaten rafımızda olup olmadığına veya satın alınması gerekip gerekmediğine bağlıdır — ve size ödemeden önce söylenir, sonra değil. /instant şu anda rafa kaldırılmış ve hazır makineleri listeler.