GPU sunucuları · A100 ve H100

A100 H100 dedicated server tam GPU ile, asla bir dilim değil

Kiraladığımız şekliyle bir A100 H100 dedicated server, tek bir NVIDIA GPU'nun doğrudan kendi işletim sisteminize verildiği komple bir makinedir: 40 veya 80 GB belleğe sahip A100 ya da 80 GB belleğe sahip H100. Aylık ödersiniz, üzerinde başka kimse çalışmaz ve port ölçümsüzdür; bu sayede veri kümelerini ve kontrol noktalarını taşımak ekstra hiçbir maliyet getirmez.

Her yapılandırmanın fiyatını görün A100 mü, H100 mü?
gpu / hbmAylık, komple makine fiyatı

Üçünde de video kodlayıcı yok. Üçünde de ECC bellek var.

Boşta duran bir A100 veya H100'ünüz mü var?

Makineyi Primcast pazar yerinde listeleyin ve işlem gücüne ihtiyaç duyanlara aylık olarak kiralayın.

Pazar yerinde listeleyin

01Ne işe yaradıkları

Eğitim için bir H100 AI sunucusu, model sunmak için bir A100

Bu GPU'lar tek bir iş yapar: modeli hızlı bellekte tutmak ve üzerinde hesaplama yapmak. Eğitim veya ince ayar yapıyorsanız ya da zaten eğitilmiş bir modelden gelen istekleri yanıtlıyorsanız, bakmanız gereken raf burasıdır.

01Bellek hızı

Modeli hızlı okurlar

Bir model GPU belleğine yerleştiğinde, ne kadar hızlı yanıt verdiği büyük ölçüde GPU'nun ağırlıklarını ne kadar hızlı okuyabildiğine bağlıdır. 80 GB A100 1.935 GB/s hızında okur; bu, L40S'in 864 GB/s hızının iki katından fazladır.

02Eğitim

H100, FP8 ekler

Hopper, Transformer Engine ve FP8'i getirir; bu yüzden insanlar büyük modelleri eğitmek veya ince ayar yapmak için H100'ü seçer. Çalışmanızın yalnızca tamamlanması değil, daha erken tamamlanması gerekiyorsa, bunun için ödeme yapmanın nedeni budur.

03Uzun çalışmalar

Haftalarca yük için üretildi

Baştan sona hata düzelten bellek ve tam kapasite çalışmak üzere üretilmiş veri merkezi donanımı. Haftalarca süren ve gerçek paraya mal olan bir eğitim çalışmasında, hiç fark etmediğiniz ters dönmüş bir bit, ortadan kaldırdığınız risktir.

04Tek kiracı

GPU'nun tamamı sizindir

MIG dilimi yok, vGPU profili yok, zaman paylaşımı yok ve makinede başka müşteri yok. Bazı bulut A100 teklifleri tek bir GPU'nun bir kesridir; bu yüzden fiyatları karşılaştırmadan önce bunu kontrol edin.

02Sipariş vermeden önce

NVIDIA H100 ve A100 hakkında bilmeniz gereken iki şey

Video kodlayamazlar

NVIDIA’nın kendi kodlama ve kod çözme destek matrisi, A100 ve H100 üzerinde sıfır NVENC kodlayıcı listeler. Kod çözebilirler (A100'de beş, H100'de yedi motor), ancak onlardan çıkan her kare işlemci tarafından kodlanmalıdır. Ayrıca görüntü çıkışları da yoktur; bu yüzden uzak masaüstleri, iş istasyonları ve oyun sunucuları buraya ait değildir.

Video çıkışına ihtiyacınız varsa, üç AV1 kodlayıcılı NVIDIA L40S kiralanacak GPU'dur ve transkodlama sayfamız bir tanesinin kaç canlı kanal taşıdığını gösterir.

A100 hâlâ iyi bir satın alımdır

Önceki nesildir ve sığan bir model için genellikle daha iyi bir satın alımdır. 40 GB A100, 13 milyar parametreli bir modeli 8-bit olarak rahatça tutar ve 80 GB olan, 30 milyar parametreli bir modeli 8-bit olarak alır.

Kodunuz FP8 ve daha yeni tensör çekirdeklerini kullandığında ya da sonuca ulaşma süresi için ödeme yaptığınızda H100 kiralayın. Soru “sığıyor mu ve ne kadar hızlı okuyor” olduğunda bir A100 kiralayın.

03Teknik özellikler

NVIDIA H100 ve A100 teknik özellikleri

Rakamlar NVIDIA’nın veri sayfalarından ve yayımlanmış teknik özellik tablolarından alınmıştır. Bir rakamı taktığımız tam kartla eşleştiremediğimizde, tablo onu dışarıda bırakır.

H100 80GB

Architecture

Hopper

Card memory

80 GB HBM2e

Board power

350 W

Card interface

PCIe Gen 5 x16

Hardware video encoders

None. Decode only (7 engines)

Error-correcting memory

Yes

A100 80GB

Architecture

Ampere

Card memory

80 GB HBM2e

CUDA cores

6,912

Memory bandwidth

1,935 GB/s

Board power

300 W

Card interface

PCIe Gen 4 x16

Hardware video encoders

None. Decode only (5 engines)

Error-correcting memory

Yes

A100 40GB

Architecture

Ampere

Card memory

40 GB HBM2

CUDA cores

6,912

Memory bandwidth

1,555 GB/s

Board power

250 W

Card interface

PCIe Gen 4 x16

Hardware video encoders

None. Decode only (5 engines)

Error-correcting memory

Yes

H100'ün neden çekirdek sayısı veya bant genişliği göstermediği: mağaza kaydımız iki kartı karıştırıyor; bir taban kartına bağlanan SXM modülü ve sunucularımıza giren PCIe GPU'su. 80 GB HBM2e bellek PCIe GPU'suna aittir ve sizin alacağınız da budur. Sohbetten sorun, makinenize tam olarak hangi kartın gireceğini söyleyelim.

04Seçim

A100 ve H100: hangisini kiralamalı

Her GPU, girdiği sunucunun üzerine aylık bir kalemdir; bu yüzden asıl soru, bu adımın işiniz için değip değmeyeceğidir. Tablo, belleği ve aylık maliyeti yan yana koyar.

Cheapest complete machine first. Every figure read from the order catalogue when this page was served.
CardCard memoryThe cardCheapest complete machine
A100 40GB40 GB HBM2$699$772.47
A100 80GB80 GB HBM2e$899$972.47
RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECC$1,299$1,382.67
H100 80GB80 GB HBM2e$1,599$1,682.67

RTX PRO 6000 Blackwell tabloda bilerek yer alıyor: 96 GB tutar, bu sayfadaki herhangi bir GPU'dan daha fazla. NVLink'ten ve bir miktar bellek hızından vazgeçersiniz, karşılığında dört video kodlayıcı kazanırsınız. Tek sorunuz modelin sığıp sığmadığıysa, karar vermeden önce RTX PRO 6000 sayfasını okuyun.

İki A100 arasında seçim yapmak önce kapasiteyle ilgilidir. Modeliniz ve bağlamı 40 GB içine beşte biri boş kalacak şekilde sığıyorsa, küçük olanı alın. Sınıra yakınsanız, 80 GB A100 size alan sağlar ve ayrıca daha hızlı okur.

05Makine

Hangi A100 sunucusu veya H100 makinesi ve aldığı PCIe bağlantısı

A100 bir PCIe Gen 4 GPU'dur ve H100 Gen 5'tir; sunucu platformlarımız ise Gen 3 ve Gen 4'tür. Yani H100 burada tasarlandığı tam veri yolunu asla alamaz ve bunu şimdiden bilmenizi tercih ederiz.

Intel Xeon Silver / Gold

H100 80GB

Slot: PCIe 3.0, 48 lanes per socket. Card: PCIe Gen 5.

A quarter or less of the bus the card was designed for. Worth avoiding when the work crosses the slot every step, and irrelevant once the weights are resident.

AMD EPYC

H100 80GB

Slot: PCIe 4.0, 128 lanes per socket. Card: PCIe Gen 5.

About half the bus the card was designed for. That costs a training loop streaming batches off the host; it costs an inference server or a transcoder nothing, because the weights are already on the card.

Intel Xeon E5-2600 v3/v4

A100 80GB, A100 40GB

Slot: PCIe 3.0, 40 lanes per socket. Card: PCIe Gen 4.

About half the bus the card was designed for. That costs a training loop streaming batches off the host; it costs an inference server or a transcoder nothing, because the weights are already on the card.

Intel Xeon Silver / Gold

A100 80GB, A100 40GB

Slot: PCIe 3.0, 48 lanes per socket. Card: PCIe Gen 4.

About half the bus the card was designed for. That costs a training loop streaming batches off the host; it costs an inference server or a transcoder nothing, because the weights are already on the card.

AMD EPYC

A100 80GB, A100 40GB

Slot: PCIe 4.0, 128 lanes per socket. Card: PCIe Gen 4.

Full width. The slot is at least the generation the card was designed for, so nothing is left on the table.

Bunun önemli olup olmadığı işinize bağlıdır. Ağırlıkları zaten yüklenmiş bir çıkarım sunucusu yuvaya neredeyse hiç dokunmaz. Her adımda ana bellekten yeni bir yığın çeken bir eğitim döngüsü bunu her adımda hisseder. Hangisi olduğunuzdan emin değil misiniz? Ne çalıştıracağınızı söyleyin, sizi doğru makineye yönlendirelim.

06Boyutlandırma

80 GB GPU belleğine ne sığar

Yalnızca ağırlıklar, 80 GB A100 ve H100 için. Üzerine bağlam ve çalışma zamanı için yer bırakın.

Weights only, rounded up. Fits means the card’s 80 GB holds the weights 1.5× over — room for the KV cache, the activations and the runtime, and the only verdict the LLM sizing page recommends a card on. Tight clears 1.25× only: the model loads, and a long context or a second user runs the card out.
Model16-bit8-bit4-bit
7-8 billion parameters16 GB — fits8 GB — fits5 GB — fits
13-14 billion parameters28 GB — fits14 GB — fits8 GB — fits
30-34 billion parameters68 GB — does not fit34 GB — fits19 GB — fits
70 billion parameters140 GB — does not fit70 GB — does not fit38 GB — fits

40 GB A100'de, 30 ila 34 milyar parametreli bir model yalnızca 4-bit olarak ve dar bir alanla sığar. 70 milyar parametreli bir model 16-bit olarak sattığımız hiçbir tek GPU'ya sığmaz; bu birden fazla GPU gerektirir ve NVLink burada devreye girer. Bunu ters yönden, modelinizden GPU'ya doğru hesaplamak için LLM bellek boyutlandırma sayfasını kullanın.

07Fiyatlar

A100 GPU barındırma ve H100 fiyatları, makineyle birlikte

GPU faturanızda bir kalemdir, sunucu ise başka bir kalem. Her ikisi de kasanın kullandığı aynı sipariş kataloğundan gelir; bu yüzden aşağıdaki her fiyat, yanındaki tam makineye aittir.

Read from the order catalogue when this page was served. The card is a separate line; the machine does not get dearer because of what is plugged into it.
CardThe machine it goes inThe cardComplete, per month
A100 40GBIntel Xeon E5-2600 v3/v4
Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · PCIe 3.0		$699$772.47
Configure this build →
A100 40GBIntel Xeon Silver / Gold
Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · PCIe 3.0		$699$782.67
Configure this build →
A100 40GBAMD EPYC
AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps · PCIe 4.0		$699$916.59
Configure this build →
A100 80GBIntel Xeon E5-2600 v3/v4
Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · PCIe 3.0		$899$972.47
Configure this build →
A100 80GBIntel Xeon Silver / Gold
Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · PCIe 3.0		$899$982.67
Configure this build →
A100 80GBAMD EPYC
AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps · PCIe 4.0		$899$1,116.59
Configure this build →
H100 80GBIntel Xeon Silver / Gold
Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · PCIe 3.0		$1,599$1,682.67
Configure this build →
H100 80GBAMD EPYC
AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps · PCIe 4.0		$1,599$1,816.59
Configure this build →

Port her iki yönde de ölçümsüzdür ve çıkış ücreti yoktur; bu tür işlerde bu genellikle başka yerlerdeki en büyük faturadır. Sunucuyla birlikte bir IPv4 adresi gelir, sözleşme yoktur ve her seferinde bir ay ödersiniz. Aynı şekilde fiyatlandırılmış, taktığımız diğer tüm GPU'lar için fiyatlarıyla birlikte tüm GPU sunucularına bakın.

08Teslimat ve yardım

Ne kadar sürede alırsınız ve kim yanıtlar

Bu GPU'lar sizin için satın alınması en olası parçalardır. Ödemeden önce bu dört durumdan hangisinin geçerli olduğu size söylenir.

  1. Yaklaşık 30 dakika

    Zaten rafta

    GPU takılmış bir makine rafta duruyor. Sipariş onaylandıktan yaklaşık 30 dakika sonra sizindir.

  2. 4 ila 24 saat

    GPU bizde mevcut

    Rafta bulunan bir GPU'yu seçtiğiniz sunucuya takarız.

  3. 5 ila 10 iş günü

    Satın alırız

    GPU sizin için bir distribütörden sipariş edilir, ardından sunucunuza takılır.

  4. 10 ila 15 iş günü

    Tahsisli

    Güncel hızlandırıcılar bazen distribütör tarafından kısıtlanır ve bu, verdiğimiz en uzun bekleme süresidir.

Siparişten önce veya sonra sorularınız sohbetimize gider. Bir yapay zeka asistanı saniyeler içinde yanıtlar ve hesabınıza ve sunucunuza bakabilir; istediğiniz her an ekibimizden bir kişi devreye girer. Şu anda rafta ve hazır olan makineler anında sunucular sayfasındadır.

09Soru

A100 veya H100 kiralamak hakkında sorular

01Tek bir H100 sunucusunda yapay zeka modelleri eğitebilir miyim?

Evet. 80 GB belleğe sahip bir H100, ağırlıkları, gradyanları ve optimize edici durumu bu belleğe sığan modelleri eğitir ve ince ayar yapar; Transformer Engine üzerinden FP8 ise ne kadar ileri gidebileceğini artırır. Büyük bir modelin tam eğitimi genellikle birden fazla GPU gerektirir. Tek makinede birden fazla GPU veya birlikte çalışan birden fazla makine, fiyat teklifi verdiğimiz bir yapıdır: bkz. çoklu GPU ve çoklu düğüm sunucuları.

02Bu, NVIDIA DGX H100 ile aynı mı?

Hayır. DGX H100, tek bir ana kart üzerinde sekiz H100 SXM modülü bulunan NVIDIA’nın kendi sistemidir. Bizim kiraladığımız, standart bir sunucudaki tek H100 PCIe GPU’dur; tek GPU’lu eğitim, ince ayar ve çıkarım için uygundur. Birbirine bağlı birden fazla GPU’ya ihtiyacınız varsa bkz. çoklu GPU sunucuları.

03A100 veya H100 üzerinde video dönüştürebilir miyim?

Donanım düzeyinde hayır. İki GPU’nun da video kodlayıcısı yoktur, bu yüzden kodlama işlemciye düşer ve işlemci hızında çalışır. Kod çözme yapabildikleri için video okuyup başka bir çıktı üreten bir iş sorunsuz çalışır. Video çıktısı için üç AV1 kodlayıcısına sahip L40S’i kiralayın.

04GPU, MIG örneklerine mi bölünüyor yoksa paylaşımlı mı?

Hayır. GPU’nun tamamı, başka kimsenin kullanmadığı bir makinede kendi işletim sisteminize doğrudan aktarılır. Her iki GPU da MIG’i destekler; işinize uygunsa kendiniz bölümlendirebilirsiniz. Bu, kendi makinenizde verdiğiniz bir karardır.

05A100 40 GB mı yoksa 80 GB mı kiralamalıyım?

Kapasiteyle başlayın. Model ve bağlamı, yaklaşık beşte biri boş kalacak şekilde 40 GB’a sığıyorsa daha küçük GPU daha iyi bir seçimdir. 80 GB A100 ayrıca daha hızlı okur: 1.555 GB/s’ye karşı 1.935 GB/s. Bellek veya hız sınırına yakınsanız onu tercih edin.

06Hangi NVIDIA sürücüsünü ve CUDA sürümünü alacağım?

Kendi kurduklarınızı. Sunucu temiz bir işletim sistemi ve kök erişimiyle gelir; sürücü, CUDA ve çerçeve sürümlerini kodunuzun test edildiği sürümlere sabitlersiniz. Arkadan hiçbir şey yükseltilmez. Sürücünün teslimden önce kurulmasını istiyorsanız siparişte belirtin ve sürümü adlandırın.

07Bir sunucuya iki A100 veya H100 koyabilir miyim?

Evet, ödeme seçeneği olarak değil, fiyat teklifi verilen bir yapı olarak. Her iki GPU da NVLink’i destekler; böylece ikisi hızlı bir köprü üzerinden iş paylaşabilir. Hangi kasa, kaç GPU ve teslim süresi GPU’ya bağlıdır; ne çalıştırmayı planladığınızı söyleyin, yapıyla birlikte dönelim.

08A100 veya H100 sunucusuna ne kadar sürede sahip olabilirim?

GPU’nun nerede olduğuna bağlıdır. Rafta hazır bir makinede zaten varsa onaydan yaklaşık 30 dakika sonra, GPU bizdeyse 4 ila 24 saat, satın almamız gerekiyorsa 5 ila 10 iş günü, tahsisli bir GPU için 10 ila 15 iş günü. Ödemeden önce hangisinin geçerli olduğu size bildirilir. Raftaki makineler anında sunucular sayfasında listelenir.

GPU’yu seçin, ardından çevresindeki makineyi

Her A100 ve H100 yapısı yukarıda sunucusuyla birlikte fiyatlandırılmıştır. Birini seçin, yapılandırın; sipariş, ödemeden önce aylık toplamı gösterir.

Bir yapı seçin Tüm GPU’ları karşılaştırın