Nesne algılama, sınıflandırma ve bölütleme, bu parçaların üretilme amacıdır. Ağlar küçük ve int8 olarak nicemlenmiştir — MobileNet ve EfficientDet sınıfı, modül için önceden derlenmiş — ve kareleri tutan makinede milisaniyeler içinde yanıt verirler.
Her iki modül de tek haneli watt çeker; böylece bir kamera akışı veya sensör verisi, ana işlemciyi meşgul etmeden gün boyu değerlendirilebilir. Çekirdekler uygulamanız için boş kalır; aritmetiği modül yapar.
Milyarlarca parametreyle ölçülen bir model, hiçbir nicemleme düzeyinde bu modüllerin ikisine de sığmaz ve bu sayfa aksini iddia etmeyecektir. Bir dil modelini boyutlandırmak kendi aritmetiğidir ve bir modeli çalıştırmanın gerektirdikleri sayfasında yer alır; bir modeli gerçekten çalıştıran ayrık kartlar, her biri makinesinin yanında fiyatlandırılmış olarak GPU özel sunucuları sayfasındadır.
Google’ın Coral modülü, Google’ın yaklaşık iki watt güçte 8 bit tam sayılarla saniyede 4 trilyon işlem olarak derecelendirdiği Edge TPU’yu taşır. Bunlar satıcının rakamlarıdır, yayımlandığı gibi alıntılanmıştır — bizim ölçümümüz değildir.
Önceden int8’e nicemlenmiş ve Edge TPU için derlenmiş TensorFlow Lite modellerini çalıştırır. Bu derleme adımı, parçanın dürüst maliyetidir: bir model ya onun için derlenir ya da derlenmez; klasik uç ağları — sınıflandırma, algılama, poz — derlenenlerdir.
Hailo, Hailo-8’i 8 bit tam sayılarla saniyede 26 tera-işleme kadar derecelendirir — yine üreticinin rakamı, yayımlandığı gibi alıntılanmıştır. İki modülün belirgin biçimde daha büyüğüdür ve Coral boyutunda bir ağ yetmediğinde istenecek olandır.
Modeller ona TensorFlow veya ONNX’ten Hailo’nun kendi derleyicisi aracılığıyla ulaşır ve çalışma zamanı bunları makinenizde sunar. Coral’da olduğu gibi, neyin çalışacağına derleme adımı karar verir: bu bir sinir ağı parçasıdır, genel amaçlı hesaplama değil.
Modül bir ürün kademesi değildir: kartuşun yapılandırıcısında tek bir satırdır, makinenin kendi tutarına eklenir. Burada iki sayı da yazılmaz, çünkü fiyat birlikte geldiği makinenin yanına aittir — bu ailedeki her sayfanın uyduğu kural budur.
M.2 yuvası bir HPE Moonshot kartuşunun üzerindedir. m710x’i (dört çekirdekli Xeon E3-1585L v5) veya m510’u (Xeon D, sekiz veya on altı çekirdek) yapılandırın ve modülü bir seçenek olarak ekleyin.
Makine yalnızca sizindir, root yetkisiyle. Satıcının çalışma zamanı — Coral için Edge TPU kitaplığıyla TensorFlow Lite, Hailo-8 için Hailo’nun HailoRT’si — işletim sisteminize kurulur ve sabitlediğiniz sürümde kalır. Altınızda hiçbir şey kendiliğinden güncellenmez.
Bir üst adım daha büyük bir modül değil; onu alacak şekilde üretilmiş bir makinedeki ayrık karttır. GPU özel sunucuları, taktığımız her karttır ve makinesinin yanında fiyatlandırılmıştır; çoklu GPU ve çoklu düğüm ise birden fazlasıdır.
