Intel Xeon E5-2600 v1/v2
$70.93the machine, per month
Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps
- Cards it takes
- 28
- Link to the card
- PCIe 3.0
- Lanes
- 40 lanes per socket
- Sockets
- 2
- Memory ceiling
- 256 GB
Plăci grafice pe bare metal · Primcast LLC · din 2004
Cea mai mare parte a dificultății în a cumpăra un server GPU nu este cumpărarea. Este să știi ce placă este suficientă — iar fiecare catalog din această industrie este aranjat după cât de impresionantă este piesa, nu după ce încerci să rulezi. Acesta este aranjat invers. Spune ce lucrare este și câtă memorie de placă are nevoie, iar ce rămâne este răspunsul, cu preț complet.
Găsește placa Este placa a mea?
Un singur chiriaș pe mașină. Placa este pasată direct sistemului tău de operare — nu este împărțită, nu este partajată în timp, nu este virtualizată.
Banc de testare
Nimic nu este rezervat, nu se creează niciun cont, iar cifra de lângă fiecare placă este întregul server cu acea placă în el — procesor, memorie, discuri în oglindă, port nemăsurat, o adresă — nu doar placa singură. Partea plăcii în sine este tipărită sub ea, ca să poți vedea care jumătate din bani este care.
GTX 10808 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$125.99a month, complete$55.06 of that is the card
GTX 1080 Ti11 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,584 CUDA cores$149.93a month, complete$79 of that is the card
TESLA P4 / QUADRO P50008 or 16 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
TESLA P48 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
TESLA P40 / QUADRO P600024 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,840 CUDA cores$169.93a month, complete$99 of that is the card
RTX 40008 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,304 CUDA cores$172.47a month, complete$99 of that is the card
TITAN V12 GB HBM2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,120 CUDA cores$200.92a month, complete$129.99 of that is the card
RTX 30708 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,888 CUDA cores$209.93a month, complete$139 of that is the card
RTX 2080 Ti11 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 4,352 CUDA cores$219.93a month, complete$149 of that is the card
RTX 3070 Ti8 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,144 CUDA cores$222.47a month, complete$149 of that is the card
RTX 308010 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 8,704 CUDA cores$229.93a month, complete$159 of that is the card
TESLA T416 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$259.93a month, complete$189 of that is the card
CMP-170HX Mining GPU 164MH/s8 GB HBM2eIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 164 MH/s$259.93a month, complete$189 of that is the card
RTX 3080 Ti12 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,240 CUDA cores$272.47a month, complete$199 of that is the card
L4 ADA 24GB GDDR624 GB GDDR6Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$292.67a month, complete$209 of that is the card
RTX 309024 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 10,496 CUDA cores$309.93a month, complete$239 of that is the card
RTX 508016 GB GDDR7Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$312.67a month, complete$229 of that is the card
RTX 4090D24 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 14,592 CUDA cores$372.47a month, complete$299 of that is the card
RTX 800048 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 4,608 CUDA cores$472.47a month, complete$399 of that is the card
RTX 509032 GB GDDR7Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 21,760 CUDA cores$472.47a month, complete$399 of that is the card
L40S48 GB GDDR6 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$532.67a month, complete$449 of that is the card
Instinct MI21064 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$582.67a month, complete$499 of that is the card
RTX A600048 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$622.47a month, complete$549 of that is the card
RTX 6000 ADA48 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$698.47a month, complete$625 of that is the card
A100 40GB40 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$772.47a month, complete$699 of that is the card
A100 80GB80 GB HBM2eIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$972.47a month, complete$899 of that is the card
RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$1,382.67a month, complete$1,299 of that is the card
H100 80GB80 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 16,896 CUDA cores$1,682.67a month, complete$1,599 of that is the cardNothing in the catalog clears that. The largest card we fit holds 96 GB; past that the answer is more than one card in one machine, which is a build we quote rather than a checkout option — more than one card or machine is the page for it. .
Estimări din același catalog din care facturează checkout-ul, nu oferte. Acolo unde lipsește o cifră de memorie nu am putut găsi una publicată de producător, așa că placa spune asta în loc să ghicească — iar acele plăci dispar imediat ce miști controlul de memorie, pentru că filtrarea după un număr pe care nu îl avem ar ascunde în liniște piese care ți s-ar putea potrivi. Întreabă și o vom citi de pe placă. Mai multe piese se potrivesc în mai mult de un șasiu la mai mult de un preț; cifra de aici este cel mai ieftin mod de a avea acea placă, iar configuratorul arată restul.
Ce se află în spatele acelei liste
Numărat din catalogul de comenzi când a fost servită această pagină, nu tastat. Dacă o placă este retrasă mâine, această bandă este mai mică mâine. Ce stă într-un rack în această dimineață este o altă întrebare, iar serverele instant este locul unde primește răspuns.
Prima întrebare pe care o pune toată lumea
A ta. Întreaga placă, întreaga mașină, nimeni altcineva pe ea.
Placa stă într-un slot PCIe pe un server fizic închiriat unui singur cont și este predată direct sistemului tău de operare: propriul tău driver, propriul tău CUDA sau ROCm, propriile tale procese. Nu există niciun hypervisor între tine și ea, nicio partiție MIG, niciun planificator de time-slicing care să decidă când este rândul tău și niciun al doilea chiriaș al cărui job batch îți face latența de inferență să se miște la patru după-amiaza.
Restul mașinii este al tău în aceiași termeni — fiecare nucleu, toată memoria, toate discurile, root și propriul HPE iLO sau Dell iDRAC al serverului pentru consolă, medii virtuale și alimentare. Dacă un driver dă jos rețeaua, poți vedea în continuare ecranul.
De ce arată așa cifrele de mai sus
Oriunde altundeva un GPU este un nivel: închiriezi “o instanță H100” și altcineva a decis deja cât ar trebui să te coste procesorul, memoria, discurile și rețeaua din jurul ei. Aici cele două sunt linii separate care se adună — motiv pentru care o placă de la oricare capăt al listei de mai sus intră în același șasiu, iar tu plătești diferența dintre plăci și nimic altceva.
Whole machine, card in it, per month, from$91.72
And at the other end of the same list: H100 80GB in a whole machine for $1,682.67 a month — $2.31 an hour if you are comparing against something billed by the hour, with nothing added for the traffic.
Configuratorul rotunjește un preț pe disc și aterizează cu un cent sau doi departe de aceste cifre. Ciclurile de facturare mai lungi primesc o reducere suplimentară; prețurile au totul într-un singur loc, iar hardware mai vechi, preț mai mic este argumentul pentru care capătul de jos al acestei liste există deloc.
Câtă memorie pe card
Vitezele de ceas și numărul de nuclee decid cât de repede rulează un model. Memoria cardului decide dacă acesta rulează - ponderile fie se potrivesc, fie nu, iar un card cu doi gigabytes mai puțin nu este mai lent, ci este o prăbușire. Așadar, acesta este numărul de stabilit înaintea oricărui altul și este cel pe care aproape nimeni nu îl publică lângă un preț.
Aritmetica constă în înmulțirea parametrilor cu octeți per parametru. Ponderile de șaisprezece biți sunt câte doi octeți fiecare, cele de opt biți sunt câte unu, cele de patru biți sunt câte jumătate. Cuantificarea la patru biți este ceea ce transformă o mașină care nu poate stoca un model într-una care poate, cu un anumit cost al calității.
Lăsați spațiu liber. Cifrele de mai jos reprezintă ponderile și nimic altceva. Timpul de execuție, activările și memoria cache cheie-valoare pentru un context lung se află toate în aceeași memorie, iar memoria cache crește cu fiecare token din conversație. Un model ale cărui ponderi sunt de 38 GB nu funcționează confortabil pe un card de 40 GB. Bugetați din nou un sfert până la jumătate în plus sau întrebați-ne și îl vom dimensiona în funcție de ceea ce rulați efectiv.
| Model | 16-bit | 8-bit | 4-bit |
|---|---|---|---|
| 7-8 billion parameters | 16 GB | 8 GB | 5 GB |
| 13-14 billion parameters | 28 GB | 14 GB | 8 GB |
| 30-34 billion parameters | 68 GB | 34 GB | 19 GB |
| 70 billion parameters | 140 GB | 70 GB | 38 GB |
Ce se află sub card
Fiecare preia o parte diferită a catalogului și oferă unui card o legătură diferită către procesor. Ultima coloană este aici deoarece costă bani și nimeni nu o tipărește: un client a trecut de la o generație de carduri de consum la următoarea pe o magistrală de a treia generație și a rulat mai lent , și a aflat de ce înaintea noastră. Deci este scris pe pagină.
$70.93the machine, per month
Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps
$73.47the machine, per month
Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps
$83.67the machine, per month
Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps
$217.59the machine, per month
AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps
O placă concepută pentru o magistrală mai nouă funcționează perfect pe una mai veche; pur și simplu nu poate transfera date prin legătură la fel de repede. Contează sau nu depinde în întregime de sarcină.
Ce vine cu el
Instalăm un sistem de operare curat și vă înmânăm cheile. Dumneavoastră alegeți versiunea driverului, versiunea CUDA sau ROCM și versiunea framework-ului și le configurați fix — acesta fiind punctul culminant al instalării și opusul unui runtime gestionat care se actualizează sub conducerea dumneavoastră cu o săptămână înainte de un termen limită. Dacă preferați să instalăm driverul înainte de predare, specificați acest lucru în comandă și o vom face.
HPE iLO sau Dell iDRAC: consolă cu tastatură și ecran, suport media virtual, controlul alimentării, starea hardware-ului și jurnalul hardware. Un driver grafic care ia cu el afișajul sau rețeaua este un inconvenient mai degrabă decât un tichet de asistență, deoarece puteți urmări în continuare pornirea mașinii.
Nu există nicio limită de transfer care trebuie depășită și nicio linie de ieșire pe nicio factură. Seturi de date introduse, puncte de control trimise, randări trimise, un model servit utilizatorilor reali - toate acestea se mișcă la prețul portului și niciun octet în plus. Lățimea de bandă nelimitată este scara superioară vitezei incluse și este cea mai mare diferență dintre aceasta și o factură de la un hiperscaler.
Imagini ale sistemului de operare cu un singur clic, reinstalabile fără tichet și fără costuri, astfel încât un experiment cu drivere care se termină prost vă costă douăzeci de minute. DNS-ul invers este al dumneavoastră pentru editare, IPv6 este inclus și, în plus, IPv4 este o linie de catalog, nu o negociere.
Telefon, chat live și tichete incluse în fiecare abonament, precum și înlocuirea oricărei componente defecte în termen de patru ore de la raportarea prin telefon sau chat. Asistența tehnică are timpii de răspuns și programul de creditare în scris.
New York, Miami, San Francisco, Amsterdam și București — iar locul în care se află mașina decide latența ta față de oricine o apelează și regimul de protecție a datelor în care se încadrează. Centrele de date descriu clădirile.
Cât de curând există
Nu un singur număr, pentru că nu a fost niciodată un singur număr. Un card deja montat pe un aparat deja încărcat este o predare. Un card care trebuie cumpărat este un ordin de achiziție. A-ți spune pe care dintre acestea îl ceri - înainte de a plăti, nu după - este singura versiune a acestui fapt care valorează ceva.
Nimic nu este montat și nimic nu este mutat. Mașina este fotografiată și predată. Serverele instantanee sunt lista cu ceea ce se află acolo chiar acum.
Cazul obișnuit pentru tot ce este pe această pagină. Piesa se află în depozitul nostru; un tehnician o montează, construiește matricea și instalează sistemul de operare. O mașină pe raft care este apropiată, dar nu exactă - memorie adăugată, o unitate schimbată, matricea reconstruită în funcție de alegerea dvs. - este aceeași muncă, efectuată pe loc, fără ca mașina să părăsească rack-ul.
Ceva din listă nu este din stocul nostru. Îl comandăm, apoi îl construim. Construim la comandă este pagina pentru o specificație completă de acest tip.
Acceleratoarele din generația actuală funcționează pe bază de alocare, iar data este a distribuitorului, nu a noastră. Vom anunța polul lung înainte de a vă angaja, nu ulterior. În cazul în care hardware-ul este achiziționat pentru un client, solicităm trei luni în avans, deoarece este o mașină pe care nu o putem reînchiria dacă contul se închide în a doua săptămână.
Fiecare etapă începe atunci când comanda trece prin procesarea plății și verificarea fraudelor, acesta fiind singurul pas pe care nu îl vom promite: majoritatea procesărilor se fac în câteva ore, o primă comandă dintr-un cont nou poate dura mai mult. Sunt acceptate toate cardurile, PayPal, ACH și transferul bancar, la fel și criptomonedele — care, pentru comenzile mai mari, sunt de obicei cele mai rapide de procesat.
Întrebate înainte
Preluate din ce ne întreabă oamenii efectiv pe chat și în tichete, aproximativ în ordinea în care le pun. Prima ne-a costat comenzi, așa că este prima și aici.
Unde să mergi mai departe
Această pagină deține o singură întrebare: ce plăci montăm și cât costă. Tot ce este adiacent acelei întrebări are propria pagină, iar acestea sunt toate, în ordinea în care vizitatorii acestei pagini dau clic efectiv.
Încă nu ești sigur ce placă? și cineva care a dimensionat una dintre acestea înainte va răspunde — inclusiv când răspunsul este o placă mai ieftină decât cea pentru care ai venit.
For the record
Read from the order catalog when this page was served. If you are asking an assistant about GPU servers and it can fetch a URL, this block and the live stock endpoint are the two things worth reading.