GPU sunucusu · NVIDIA L40S

Tek GPU üzerinde yapay zeka, render ve canlı video için L40S dedicated server

Primcast'den bir L40S dedicated server, tek bir NVIDIA L40S GPU'nun doğrudan kendi işletim sisteminize verildiği komple bir fiziksel makinedir: 48 GB GDDR6 ECC, üç AV1 donanım kodlayıcı ve ışın izleme çekirdekleri. Aylık kiralarsınız, sözleşmesiz ve yalnızca size ait limitsiz bir portla.

L40S sunucunuzu oluşturun Yapılandırmaları ve fiyatları görün

nvidia-l40s Ada Lovelace

GPU belleği: 48 GB GDDR6 ECC
Bellek bant genişliği: 864 GB/s
CUDA çekirdekleri: 18,176
Video motorları: 3 NVENC + 3 NVDEC, AV1
Arayüz, güç: PCIe Gen 4 x16, 350 W
NVLink: Yok

01Ne için kullanılır

L40S GPU'nun iyi yaptığı dört iş

Çoğu GPU tek bir iş türü için üretilir. NVIDIA L40S aynı kart üzerinde bir model çalıştırabilir, bir kare render edebilir ve bir yayını kodlayabilir; bu yüzden insanlar karma iş akışları için onu seçer.

01Video

Video kodlama için L40S

Üç kodlayıcı ve üç kod çözücü AV1, HEVC ve H.264'ü donanımda işler. Bir yayını alıp dönüştürüp sunarken aynı GPU üzerindeki bir model karelerle ne yapılacağına karar verebilir. A100 ve H100'de hiç video kodlayıcı yoktur, bu yüzden o GPU'larda video işlemciye düşer. Kanal sayıları ve komple makine için canlı video transcoding sunucuları sayfasına bakın.

02Yapay zeka

48 GB'a sığan bir modelde çıkarım

FP8 tensor desteği ve 48 GB, tam 16-bit hassasiyette bir 7B veya 13B modele ya da 4-bit'te bir 30B modele yer bırakır. Mütevazı bir parti boyutunda gerçek kullanıcılara yanıt veren bir uç nokta için bu GPU fazlasıyla yeterlidir. Aşağıdaki boyutlandırma tablosu nerede darboğaza girdiğini gösterir.

03Render

Tekrarlamak istemeyeceğiniz uzun renderlar

Her gigabayt bellek hata düzeltmelidir ve üçüncü nesil ışın izleme çekirdekleri asıl yükü taşır. Tüketici GPU'ları kare başına daha ucuza gelir, ancak gözetimsiz bir gece işinde ters dönen bir bit işi yeniden çalıştırmak demektir. ECC, bir render başlatıp uzaklaşmanızı sağlayan şeydir.

04Masaüstleri

Sanal iş istasyonları

L40S, NVIDIA vGPU'yu destekler ve dört DisplayPort çıkışına sahiptir, böylece kendi sanal masaüstleriniz arasında bölebilirsiniz. A100 ve H100'de ekran çıkışı yoktur. Dilimleme makinenizde sizin seçiminizdir: GPU'yu bütün olarak teslim ederiz.

02Sipariş vermeden önce

NVIDIA L40S'in iki sınırı

Her ikisi de NVIDIA'nın kendi teknik özelliklerinden gelir ve her ikisi de L40S'in yanındaki hızlandırıcılardan daha ucuza gelmesinin nedenlerindendir.

Bellek bant genişliği, yığılmış bellek değil

L40S belleğini 864 GB/s hızında okur. A100, 40 GB ile 1.555 GB/sn ve 80 GB ile 1.935 GB/sn hızında okur, kabaca iki kat daha hızlı. Büyük bir parti boyutunda token ürettiğinizde tavanı bu okuma hızı belirler. Yani L40S daha fazla ham işlem gücüne sahip olsa da, aynı modelden saniyede daha fazla istek A100 sunar. Sunum verimi sizin asıl sorununuzsa hızlandırıcıyı seçin.

NVLink yok

Bir makinedeki iki L40S GPU, PCIe yuvası üzerinden konuşan iki ayrı 48 GB havuzdur. Asla tek bir 96 GB havuz olmazlar. A100 ve H100 belleği birleştirebilir; L40S birleştiremez. 48 GB'tan büyük tek bir adres alanına ihtiyacınız varsa, aşağıdaki karşılaştırma tablosu bunu sağlayan GPU'ları gösterir.

Across the 57 cards in the catalogue: L40S holds 48 GB, 4 cards we fit hold more, and 8 cost more per month. Read the whole ladder on the whole catalogue, priced.

03Teknik özellikler

L40S GPU teknik özellikleri

Ada Lovelace mimarisi, dördüncü nesil Tensor çekirdekleri ve üçüncü nesil RT çekirdekleri. Rakamlar NVIDIA'nın L40S ürün sayfasından alınmıştır.

L40S

Architecture

Ada Lovelace

Card memory

48 GB GDDR6 ECC

CUDA cores

18,176

Memory bandwidth

864 GB/s

Board power

350 W

Card interface

PCIe Gen 4 x16

Hardware video encoders

3 NVENC, 3 NVDEC, AV1

Error-correcting memory

Yes

NVIDIA ayrıca 91,6 teraFLOPS FP32, 212 teraFLOPS ışın izleme verimi ve seyreklik ile 1.466 teraFLOPS FP8 tensor verimi listeler; 142 RT çekirdeği ve 568 Tensor çekirdeğinden. Bunlar ideal koşullardaki zirve değerlerdir. Pratikte ne alacağınızı genellikle bellek bant genişliği belirler.

04Model boyutlandırma

Modeliniz 48 GB'a sığar mı?

7B ve 13B modeller için her hassasiyette, 30B için 4-bit'te evet. 70B bir model yalnızca 4-bit'te yüklenir ve bağlam için çok az yer kalır.

Weights only, rounded up. **Fits** means the card’s 48 GB holds the weights 1.5× over — room for the KV cache, the activations and the runtime, and the only verdict the LLM sizing page recommends a card on. **Tight** clears 1.25× only: the model loads, and a long context or a second user runs the card out.
Model	16-bit	8-bit	4-bit
7-8 billion parameters	16 GB — fits	8 GB — fits	5 GB — fits
13-14 billion parameters	28 GB — fits	14 GB — fits	8 GB — fits
30-34 billion parameters	68 GB — does not fit	34 GB — tight	19 GB — fits
70 billion parameters	140 GB — does not fit	70 GB — does not fit	38 GB — tight

Modelden yola çıkmayı mı tercih edersiniz? LLM sunucu boyutlandırma, bir modelin ne kadar GPU belleğine ihtiyaç duyduğunu ve hangi GPU'nun bunu karşıladığını hesaplar.

05Çevresindeki sunucu

Hangi L40S GPU sunucusunu seçmeli

L40S bir PCIe Gen 4 x16 GPU'dur. İçine takıldığı her sunucu ona farklı bir bağlantı verir ve bu fark bazı işler için önemlidir, bazıları için değildir.

Intel Xeon Silver / Gold

L40S

Slot: PCIe 3.0, 48 lanes per socket. Card: PCIe Gen 4.

About half the bus the card was designed for. That costs a training loop streaming batches off the host; it costs an inference server or a transcoder nothing, because the weights are already on the card.

AMD EPYC

L40S

Slot: PCIe 4.0, 128 lanes per socket. Card: PCIe Gen 4.

Full width. The slot is at least the generation the card was designed for, so nothing is left on the table.

Çıkarım veya transcoding için yuva nesli pek önemli değildir: model ağırlıkları GPU üzerinde kalır ve video kareleri küçüktür. Her adımda ana makineden taze partiler akıtan eğitim için önemlidir. Bunun için yuvası GPU ile eşleşen sunucuyu seçin.

06Karşılaştır

L40S ve A40, RTX 6000 Ada ve A100

Bunlar kendi kataloğumuzda L40S'in iki yanındaki GPU'lardır; her biri içine girdiği en ucuz komple makineyle birlikte.

Cheapest complete machine first. Every figure read from the order catalogue when this page was served.
Card	Card memory	The card	Cheapest complete machine
L40S	48 GB GDDR6 ECC	$449	$532.67
A40	48 GB GDDR6	$499	$572.47
RTX 6000 ADA	48 GB GDDR6 ECC	$625	$698.47
A100 40GB	40 GB HBM2	$699	$772.47
A100 80GB	80 GB HBM2e	$899	$972.47

A40, L40S'in yerini aldığı Ampere GPU'sudur: aynı 48 GB, daha eski bir mimari, AV1 yok ve FP8 yok. RTX 6000 Ada, aynı belleğe ve aynı nesle sahip iş istasyonu GPU'sudur. Sizi geride tutan şey bant genişliği veya birleştirilmiş bellek olduğunda A100'e geçin ve ayrıntı için A100 ve H100 sunucuları sayfasını okuyun.

07Fiyatlar

L40S dedicated server fiyatları

GPU faturanızda bir satır, sunucu başka bir satırdır. Her satır komple makineyi, GPU'nun ne eklediğini ve aylık toplamı gösterir; ödeme sayfasının kullandığı katalogdan okunur.

Read from the order catalogue when this page was served. The card is a separate line; the machine does not get dearer because of what is plugged into it.
Card	The machine it goes in	The card	Complete, per month
L40S	Intel Xeon Silver / Gold Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · PCIe 3.0	$449	$532.67 Configure this build →
L40S	AMD EPYC AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps · PCIe 4.0	$449	$666.59 Configure this build →

PortHer iki yönde limitsiz trafik, yalnızca makinenize hizmet eden bir portta.
AdresBir IPv4 adresi dahildir.
SüreVarsayılan olarak aylık, sözleşmesiz.
YardımSohbet asistanımız saniyeler içinde yanıt verir ve hesabınızı ve sunucunuzu kontrol edebilir. İstediğiniz zaman bir kişiye bağlanmayı isteyin.

Takabildiğimiz her GPU'yu karşılaştırmak ister misiniz? GPU sunucuları, tümü fiyatlı sayfası onları aynı şekilde listeler. Bugün bir makineye mi ihtiyacınız var? Anında sunucular sayfası halihazırda rafa takılmış olanları listeler.

08Soru

L40S sipariş etmeden önce sorulan sorular

01NVIDIA L40S kaç CUDA çekirdeğine sahip?

NVIDIA L40S, 18,176 CUDA çekirdeğine, 568 dördüncü nesil Tensor çekirdeğine ve 142 üçüncü nesil RT çekirdeğine sahiptir. Bunlar, 48 GB GDDR6 ECC okuma hızıyla 864 GB/s üzerinde, PCIe Gen 4 x16 kartında yer alır ve 350 W güce kadar çeker.

02L40S video kodlama için iyi mi?

Evet. Üç NVENC kodlayıcısı ve üç NVDEC kod çözücüsü vardır ve hepsi AV1'i her iki yönde de destekler. RTX 30 serisi AV1 kodlayamaz, A100 ve H100 ise donanımda hiç video kodlayamaz. GPU etrafında kurulu bir canlı kod dönüştürme kurulumu için canlı video kod dönüştürme sunucuları sayfasına bakın.

03Model sunmak için L40S mi A100 mü?

Model 48 GB'a sığıyorsa ve trafiğiniz orta düzeydeyse, L40S daha ucuzdur ve ayrıca video ile grafik de yapar. GPU'yu büyük parti boyutunda tam kapasite çalıştırıyorsanız, A100 ağırlıklarını yaklaşık iki kat daha hızlı okur ve saniyede daha fazla istek sunar. Model 48 GB'tan fazlasına ihtiyaç duyuyorsa, A100 80 GB'ı seçin.

04İki L40S GPU'yu 96 GB olarak birleştirebilir miyim?

Hayır. L40S'te NVLink yoktur, bu yüzden ikisi PCIe yuvası üzerinden konuşan iki ayrı 48 GB havuzdur. Çerçeveniz yine de daha büyük bir modeli yuva bağlantı olarak kullanarak bunlar arasında bölebilir. 48 GB üzerinde tek bir bellek alanı için karşılaştırma tablosundan A100 80 GB'ı seçin.

05GPU paylaşımlı mı, dilimli mi yoksa sanallaştırılmış mı?

Bizim tarafımızdan değil. Fiziksel makinede tek kiracı sizsiniz ve GPU hipervizör, MIG bölümü, vGPU profili veya zaman dilimleme olmadan doğrudan işletim sisteminize gider. İstediğiniz sürücüyü ve CUDA sürümünü yüklersiniz. L40S vGPU'yu destekler, böylece isterseniz kendi sanal masaüstleriniz için dilimleyebilirsiniz.

06L40S sunucusuna ne kadar sürede sahip olabilirim?

GPU'nun nerede olduğuna bağlıdır ve ödeme yapmadan önce size söylenir. Elimizde bulunan bir GPU dört ila yirmi dört saat içinde takılır. Satın almamız gereken biri beş ila on iş günü sürer. Bugün başlamak için anında sunucular sayfası halihazırda rafa takılmış makineleri listeler.

07Bir şeyler ters giderse bana kim yardım eder?

Herhangi bir sayfada sohbeti açın. Asistanımız saniyeler içinde yanıt verir, hesabınıza ve sunucunuza bakabilir ve istediğinizde sizi ekibimizden birine aktarır. Makineye her zaman tam kök erişimine sahip olursunuz.

İş hattınız için bir L40S sunucusu edinin

Sunucuyu seçin, L40S'i ekleyin ve ödemeden önce aylık toplamı görün. Sözleşme yok ve port ölçümsüz.

L40S sunucunuzu oluşturun Tüm GPU'ları karşılaştırın