GPU & AI · Uçta çıkarım
Uç AI hızlandırıcı, eğitilmiş bir modelin aritmetiğini yapan küçük bir çiptir; böylece işlemcinizin bunu yapması gerekmez. Kendi dedicated sunucunuza bir Hailo-8 veya Google Coral Edge TPU ekleyin; video kareleri, model ve yanıtların tümü tek bir makinede kalır.
Kompakt görü modellerini hızlı ve çok az güçle çalıştırır. Dil modellerini çalıştırmaz ve bunu sipariş vermeden önce söylüyoruz.
TOPS değerleri Google'ın ve Hailo'nun kendi verileridir. Fiyatlar sipariş kataloğumuzdan okunur.
01Sipariş vermeden önce
Bu modüller tek bir iş için üretilmiştir: görüntülere ve videolara bakıp içlerinde ne olduğunu söylemek. Onları bu işe yönlendirin; hızlı ve ucuz çalışırlar. Başka bir şeye yönlendirirseniz hayal kırıklığına uğrarsınız.
Modülü aştınız mı? Bir sonraki adım, tek kişilik bir sunucuda tam bir GPU'dur. Taktığımız her GPU, makinesinin yanında GPU dedicated sunucular sayfasında fiyatlandırılır.
02Modülü seçmek
Yeni bir proje için Hailo-8'i seçin. Coral'ın veriminin altı katından fazlasıyla derecelendirilmiştir, daha fazla çerçeveden model alır ve üreticisi hâlâ onun için yeni çalışma zamanı sürümleri yayımlar. Edge TPU için derlenmiş modelleriniz zaten varsa ve çalışmaya devam etmelerini istiyorsanız Coral'ı seçin.
| Hailo-8 | Google Coral Edge TPU | |
|---|---|---|
| Derecelendirilmiş verim | up to 26 TOPS int8 | 4 TOPS int8 |
| Güç, üreticiye göre | Modül sayfasında yayımlanmış bir değer yok | Watt başına yaklaşık 2 TOPS, yani tam yükte yaklaşık iki watt |
| Model aldığı yerler | PyTorch, ONNX, Keras ve TensorFlow Lite dahil TensorFlow | TensorFlow Lite, int8'e nicemlenmiş |
| Derleme aracı | Hailo Dataflow Compiler | Edge TPU Compiler |
| Sunucunuzdaki çalışma zamanı | hailo8 dalından HailoRT 4.x | PCIe sürücüsüyle libedgetpu |
| 2026'da yazılım | Bakımı yapılıyor: HailoRT 4.24.0 Haziran 2026'da çıktı | Google depoları arşivledi; topluluk derlemeleri çalışır durumda tutuyor |
| Sunucunuza eklenir | $13.99/ay | $13.99/ay |
HailoRT'nin ana dalı ve 5.x sürümleri daha yeni Hailo-10 ve Hailo-15 içindir. Hailo-8, hailo8 dalındaki 4.x hattında çalışır. Bir 5.x paketi kurarsanız modül bulunamaz.
Google, libedgetpu, PyCoral ve Edge TPU depolarını GitHub'da salt okunur hale getirdi. Topluluk çatalları, güncel çekirdekler ve TensorFlow sürümleri için çalışma zamanını ve PCIe sürücüsünü derlemeye devam ediyor; bu yüzden çalışan bir Coral kurulumu kullanılabilir kalır. Google'dan yeni özellik beklemeyin.
03Sunucular
Hızlandırıcı, kendi işlemcisi, belleği ve NVMe sürücüsü olan kompakt bir sunucu olan HPE Moonshot kartuşunun M.2 yuvasına takılır. Modelin etrafındaki iş için kartuşu seçin, ardından modülü yapılandırıcısında tek satır olarak ekleyin.
AVideo ve kamera işleri
Intel Iris Pro P580 grafikli dört çekirdekli Intel Xeon E3-1585L v5; Quick Sync motoru videoyu çözerek çekirdekleri boşta tutar. Kamera analitiği için doğal adres.
Intel Xeon E3-1585L v5 Quad Core 3.00 Ghz · 32 GB DDR4 · 1 × NVMe-SSD 240 GB · 1 Gbps
BModelin etrafında daha çok çekirdek
8 veya 16 çekirdekli, daha fazla bellek için alanı olan bir Intel Xeon D. Modelin etrafındaki kod daha büyük iş olduğunda seçin: izleme, veritabanları, aynı anda birçok akış.
Intel Xeon D-1548 Octa Core 2.00 GHz · 32 GB DDR4 · 1 × NVMe-SSD 240 GB · 1 Gbps
Her iki sunucu da New York, Miami, San Francisco, Amsterdam ve Bükreş'te bulunur. Amsterdam ve Bükreş'teki siparişler aynı rakamlarla euro üzerinden faturalanır.
Her biri, hiçbir şeyin ölçmediği ve erişim anahtarında başka hiçbir müşterinin paylaşmadığı 1 Gbps'lik bir port, root erişimi ve ağ kurulumu ters giderse kontrol panelinden açtığınız bir konsol içerir.
Faturalama sözleşmesiz aylıktır. Ödemeden önce yapılandırıcıda aylık toplamın tamamını görürsünüz; ABD satış vergisinin geçerli olduğu yerlerde ödeme adımı bunu ekler.
04Başlarken
m710x veya m510'u açın; bellek, depolama, şehir ve işletim sistemini seçin, ardından Tensor Processing Unit altından modülü seçin. Sunucu başına bir modül.
Modül eklenmiş bir makine özel yapımdır ve 4 ila 24 saat içinde teslim edilir. Kurulumcımız modülü PCI veri yolunda bulur ve sunucunun donanım kaydına ekler; böylece destek ekibimiz orada olduğunu görebilir.
Üreticinin sürücüsünü ve çalışma zamanını sisteminize kurun, ardından derlenmiş modelinizi yükleyin. Modül PCI veri yolunda hemen görünür.
# Hailo-8 shows as 1e60:2864, the Coral Edge TPU as 1ac1:089alspci -nn | grep -E '1e60:2864|1ac1:089a'Sürücüde mi takıldınız? Canlı sohbetteki yapay zeka desteğimiz saniyeler içinde yanıt verir ve siz konuşurken sunucunuza ve hesabınıza bakabilir. İstediğiniz anda bir kişi isteyin, ekibimizden biri devralır.
05Sorular
TPU sunucusu, yalnızca sinir ağlarının içindeki matematik için üretilmiş bir çip olan tensör işlem birimine sahip bir bilgisayardır. Burada bu, M.2 yuvasında Google Coral Edge TPU bulunan bir dedicated sunucu anlamına gelir. Aynı işi yapan ve daha hızlı olduğu belirtilen Hailo-8'i de takıyoruz.
Hayır. Cloud TPU'lar Google'ın kendi veri merkezlerindeki büyük çiplerdir ve yalnızca Google Cloud bunları kiralar. Bizim taktığımız, kendinize ait bir sunucudaki Google'ın küçük çıkarım çipi olan Edge TPU'dur.
Hayır. Bir dil modeli, sert biçimde nicemlense bile gigabaytlarca hızlı belleğe ihtiyaç duyar ve her iki modül de çip üzerindeki birkaç megabayt etrafında inşa edilmiştir. Bir dil modeli için GPU gerekir: bir LLM çalıştırmak için gerekenler boyutu hesaplar ve GPU dedicated sunucular taktığımız her GPU'yu fiyatıyla listeler.
Kağıt üzerinde evet. Hailo'nun Hailo-8 için kendi rakamı 26 TOPS'a kadar; Google'ın Edge TPU için rakamı 4 TOPS'tur, her ikisi de 8 bit tam sayılarla sayılır. Gerçek hız modelinize ve ne kadar iyi derlendiğine bağlıdır; bu yüzden kapasiteyi iki rakamdan birine göre planlamadan önce kendi ağınızı test edin.
Hayır. Her kartuş bir modül alır. Daha fazla çıkarım için birkaç kartuş sipariş edin ve kamera akışlarını bunlara dağıtın; her biri kendi portu ve kendi adresi olan ayrı bir sunucudur.
Tek bir ürün olarak hayır. Yapabileceğiniz, aynı şehirde ihtiyacınız kadar hızlandırıcı kartuşu sipariş etmektir. İş küçük modüllerin verebileceğinden fazlasını gerektirdiğinde, tek bir makinede veya makineler arasında birkaç GPU çoklu GPU sunucular sayfasındadır.
Güncel bir Linux. Ubuntu, yapılandırıcıdaki varsayılan yapıdır ve her iki üretici de sürücülerini önce Linux için yayınlar. Hailo ayrıca Windows'u destekler. Teslimden sonra çalışma zamanını, modelinizin derlendiği sürümde kendiniz kurun; siz değiştirene kadar o sürümde kalır.
Giriş yaptıktan sonra lspci çalıştırın: 1e60:2864 (Hailo-8) veya 1ac1:089a (Coral) arayın. Kurulumcımız aynı PCI veri yolunu kontrol eder ve modülü sunucunun donanım listesine ekler; yardıma ihtiyacınız olursa destek ekibimiz bunu okuyabilir.
06Bakılacak başka bir yer
Kartuşu seçin, bir Hailo-8 veya Coral ekleyin; sunucu 4 ila 24 saat içinde sizin olur.