Acceleratoarele — și ce nu vor face

Două lucruri care îi surprind pe oameni

Nu pot codifica video. Deloc.

Matricea oficială de suport pentru codificare și decodificare a NVIDIA înregistrează zero motoare NVENC pe A100 și zero pe H100. Decodifică — cinci motoare pe A100, șapte pe H100 — dar nu există niciun encoder pe placă, așa că fiecare cadru produs de aceste plăci trebuie codificat de procesor. Dacă din pipeline-ul tău iese video, acesta este raftul greșit, iar L40S cu cele trei encodere AV1 ale sale este cel potrivit. Asta e la o pagină distanță, la /l40s.

Aceste plăci nu au nici ieșiri video. Sunt componente de calcul fără cap. Nimic din ce așteaptă un framebuffer — un desktop virtual, o stație de lucru la distanță, un server de jocuri — nu își are locul pe ele.

A100 nu este depășit, iar placa de 40 GB nu este o greșeală

A100 este generația anterioară și își citește ponderile la 1.555 GB/s cu 40 GB și la 1.935 GB/s cu 80 GB. Pentru un model care încape, această viteză de citire decide câți tokeni pe secundă obții și rămâne cu mult înaintea oricărei plăci fără memorie stivuită din catalog. Placa de 40 GB ține confortabil un model de treizeci de miliarde de parametri la precizie de opt biți, ceea ce reprezintă majoritatea a ceea ce oamenii chiar servesc, la o fracțiune din cât costă H100 pe lună.

Cumpără H100 când modelul are nevoie cu adevărat de Hopper — motorul transformer, FP8, unitățile tensor mai noi — sau când rularea trebuie să se termine mai devreme, nu doar să se termine. Cumpără un A100 când întrebarea este dacă încape și cât de repede citește, ceea ce este întrebarea mai frecventă.

Specificațiile, așa cum au fost publicate

Cifre din fișele tehnice proprii ale NVIDIA și din tabelele de specificații Tesla, citate în sursa acestei pagini. Acolo unde o cifră nu a putut fi verificată pentru piesa exactă pe care o montăm, pagina aceasta nu afișează nimic în loc să ghicească.

H100 nu afișează mai sus niciun număr de nuclee și nicio lățime de bandă, iar asta este intenționat. Piesa noastră este înregistrată în magazin sub un număr de nuclee care aparține modulului SXM, care este o placă ce se fixează pe o placă de bază, nu într-un slot; memoria HBM2e de 80 GB pe care o înregistrează de asemenea aparține plăcii PCIe, care este cea care intră de fapt în aceste mașini. În loc să alegem una și să o afișăm cu încredere, pagina afișează memoria asupra căreia ambele surse sunt de acord și omite restul. Întreabă-ne și îți vom spune exact ce placă va intra în a ta.

Cele trei una lângă alta și ce stă deasupra

De pe rafturile noastre. Toate acestea pot fi comandate astăzi, în același șasiu, așa că întrebarea este care merită diferența.

Ultimul rând este acolo pentru că este comparația cinstită și majoritatea listărilor o ascund: RTX PRO 6000 Blackwell are 96 GB, mai mult decât orice accelerator de pe această pagină. Citește-i memoria și prețul față de cele ale H100 în tabelul de mai sus, în loc să ne crezi pe cuvânt pentru oricare dintre ele. Ce cedează este viteza de citire și NVLink; ce câștigă sunt patru encodere video și ray tracing. Dacă întrebarea ta este va încăpea, citește /rtx60 înainte de a te angaja la acest raft.

În ce mașină intră și ce legătură primesc acolo

A100 este o placă PCIe Gen 4, iar H100 este Gen 5, în timp ce platformele noastre sunt Gen 3 și Gen 4. Prin urmare, H100 nu primește niciodată magistrala completă pentru care a fost proiectat pe nicio mașină pe care o rulăm, iar această pagină spune asta în loc să te lase să descoperi singur.

Dacă asta te costă ceva depinde în întregime de forma lucrării. Un endpoint de inferență ale cărui ponderi sunt rezidente abia atinge slotul și nu va observa. O buclă de antrenament care aduce un lot proaspăt din memoria gazdei la fiecare pas va observa la fiecare pas. Dacă nu ești sigur care ești, spune-ne care este treaba înainte de a comanda — asta decide mașina, nu placa.

Ce încape de fapt în 80 GB

A100 de 40 GB ține același tabel cu o treaptă mai jos: un model de treizeci până la treizeci și patru de miliarde de parametri încape cu loc doar la patru biți, iar la opt biți cele 34 GB de ponderi ale sale nu trec nici măcar de bara strânsă. Un model de șaptezeci de miliarde la șaisprezece biți nu încape pe nicio placă pe care o vindem — aceea este o configurație cu două plăci și motivul pentru care linia NVLink de mai sus contează.

Acel tabel răspunde la „ce încape pe placa aceasta”. Întrebarea pusă invers — de câtă memorie are nevoie un model și ce placă o acoperă — este o pagină separată.

Cât costă, cu mașinile în care intră

Placa este o linie pe factură, iar mașina este alta. Ambele jumătăți de mai jos provin dintr-o singură citire a catalogului de comenzi, așa că prețul și specificația de lângă el își aparțin întotdeauna unul altuia.

Lățimea de bandă este nemăsurată în ambele direcții, fără taxă de egress, ceea ce pe acest raft este de obicei cel mai mare cost ascuns din altă parte — o rulare de antrenament care aduce un set de date și scoate checkpoint-uri mută foarte mulți octeți, iar egress-ul per gigabyte este taxat pe fiecare dintre ei. O adresă IPv4 este inclusă, nu există contract, iar o lună este termenul implicit. Pentru fiecare altă placă pe care o montăm, cu preț în același mod, citește întregul catalog, cu prețuri. Pentru mașini deja în rack și gata astăzi, /instant.