Acceleratoarele — și ce nu vor face

Două lucruri care surprind oamenii

Nu pot codifica videoclipuri. Deloc.

Matricea proprie de suport pentru codare și decodare NVIDIA înregistrează zero motoare NVENC pe A100 și zero pe H100. Acestea decodează - cinci motoare pe A100, șapte pe H100 - dar nu există niciun encoder pe placă, așa că fiecare cadru produs de aceste plăci trebuie să fie codificat de procesor. Dacă pipeline-ul dvs. are ieșire video, acesta este raftul greșit, iar L40S cu cele trei encodere AV1 ale sale este cel corect. Aceasta este o pagină la /l40s .

Aceste plăci nu au nici ieșiri de afișare. Sunt componente de calcul fără headphones. Nimic din ceea ce se așteaptă la un framebuffer - un desktop virtual, o stație de lucru la distanță, un server de jocuri - nu își are locul pe ele.

A100 nu este învechit, iar cardul de 40 GB nu este o greșeală.

A100 este generația anterioară și are o rată de citire de 1.555 GB/s cu 40 GB și 1.935 GB/s cu 80 GB. Pentru un model compatibil, rata de citire decide câte jetoane pe secundă primești și rămâne mult peste orice card ne-stivuit din catalog. Cardul de 40 GB poate stoca confortabil un model de treizeci de miliarde de parametri la o precizie de opt biți, ceea ce reprezintă cea mai mare parte din costul real al utilizatorilor, la o fracțiune din prețul lunar al H100.

Cumpărați H100 atunci când modelul are nevoie cu adevărat de Hopper — motorul transformator, FP8, noile unități tensoriale — sau când rularea trebuie să se termine mai devreme, în loc să se termine pur și simplu. Cumpărați un A100 atunci când întrebarea este dacă se potrivește și cât de repede citește, aceasta fiind întrebarea mai frecventă.

Specificațiile, așa cum sunt publicate

Cifre din fișele tehnice proprii ale NVIDIA și tabelele cu specificațiile Tesla, citate în sursa acestei pagini. În cazul în care nu s-a putut obține o cifră pentru piesa exactă pe care am potrivit-o, această pagină nu afișează nimic, ci doar o estimare.

H100 nu afișează niciun număr de nuclee și nicio lățime de bandă mai sus, iar acest lucru este intenționat. Partea noastră este înregistrată în stoc sub un număr de nuclee aparținând modulului SXM, care este o placă care se fixează pe o placă de bază în loc să fie într-un slot; memoria HBM2e de 80 GB pe care o înregistrează aparține plăcii PCIe, care este cea care intră de fapt în aceste mașini. În loc să aleagă una și să o imprime cu încredere, pagina imprimă memoria asupra căreia ambele surse sunt de acord și omite restul. Întrebați-ne și vă vom spune exact ce placă va fi montată în a dvs.

Cei trei unul lângă altul, și ce stă deasupra

De pe rafturile noastre. Toate acestea pot fi comandate astăzi, în aceeași carcasă, așa că întrebarea este care merită diferența.

Ultimul rând este acolo deoarece este o comparație sinceră, iar majoritatea listărilor o ascund: RTX PRO 6000 Blackwell are 96 GB, mai mult decât orice accelerator de pe această pagină. Citiți memoria și valoarea sa în raport cu H100 în tabelul de mai sus, în loc să ne credeți pe cuvânt. Ceea ce renunță este rata de citire și NVLink; ceea ce câștigă sunt patru encodere video și ray tracing. Dacă întrebarea dvs. este dacă se potrivește , citiți /rtx60 înainte de a vă angaja pentru acest raft.

În ce mașină intră și ce legătură ajung acolo

A100 este o placă PCIe Gen 4, iar H100 este Gen 5, în timp ce platformele noastre sunt Gen 3 și Gen 4. Prin urmare, H100 nu primește niciodată magistrala completă pentru care a fost proiectată pe niciun computer pe care îl folosim, iar această pagină spune acest lucru, în loc să vă lase pe voi să aflați.

Costul acestui lucru depinde în întregime de forma lucrării. Un punct final de inferență ale cărui ponderi sunt rezidente abia atinge slotul și nu va observa. O buclă de antrenament care transmite un lot nou din memoria gazdă la fiecare pas va observa la fiecare pas. Dacă nu sunteți sigur care dintre ele sunteți, spuneți-ne ce este lucrarea înainte de a comanda - aceasta decide mașina, nu cardul.

Ce încape de fapt în 80 GB

A100 de 40 GB are aceeași tabelă cu o treaptă mai jos: un model cu treizeci până la treizeci și patru de miliarde de parametri la o precizie de opt biți, același model la șaisprezece biți nu se potrivește. Un model de șaptezeci de miliarde la șaisprezece biți nu se potrivește cu nicio placă pe care o vindem - aceasta este o configurație cu două plăci și motivul pentru care linia NVLink de mai sus contează.

Cât costă, cu mașinile în care intră

Cartela este pe o linie de pe factură, iar aparatul pe alta. Ambele jumătăți de mai jos provin dintr-o singură citire a catalogului de comenzi, așadar prețul și specificațiile de lângă acesta aparțin întotdeauna unul celuilalt.

Lățimea de bandă este nelimitată în ambele direcții, fără nicio taxă de ieșire, care pe acest raft este de obicei cel mai mare cost ascuns în alte părți - o rulare de antrenament care extrage un set de date și trimite puncte de control în afara acestuia mută foarte mulți octeți, iar lățimea de bandă este taxată per gigabyte pentru fiecare dintre ele. Este inclusă o adresă IPv4, nu există contract, iar termenul implicit este o lună. Pentru fiecare altă placă pe care o instalăm, la același preț, citiți întregul catalog, la prețul ... Pentru mașinile instalate în rack și gata de utilizare astăzi, /instant ...