Mi az Apple neurális motorja és hogyan működik?

Az Ön iPhone, iPad, Mac és Apple TV egy speciális, Apple Neural Engine (ANE) nevű neurális feldolgozó egységet használ, amely sokkal gyorsabb és energiahatékonyabb, mint a CPU vagy a GPU.

Az ANE olyan fejlett eszközfunkciókat tesz lehetővé, mint például a természetes nyelvi feldolgozás és a képelemzés anélkül, hogy a felhőbe nyúlnának, vagy túl sok energiát használnának.

Fedezzük fel az ANE működését és fejlődését, beleértve a következtetéseket és az intelligenciát, amelyet Apple platformokon hajt végre, és hogyan használhatják a fejlesztők azt harmadik féltől származó alkalmazásokban.

Mi az Apple Neural Engine (ANE)?

Az Apple Neural Engine az Apple eszközökön lévő mély neurális hálózatok energiahatékony végrehajtására optimalizált speciális számítási magok fürtjének marketingneve. Felgyorsítja a gépi tanulást (ML) és a mesterséges intelligencia (AI) algoritmusait, és óriási sebesség-, memória- és teljesítményelőnyt kínál a fő CPU-hoz vagy GPU-hoz képest.

Az ANE nagy szerepet játszik abban, hogy a legújabb iPhone-ok, iPadek, Mac-ek és Apple TV-k érzékenyek, és miért nem melegednek fel a nehéz ML és AI számítások során. Sajnos nem minden Apple-eszköz rendelkezik ANE-vel – az Apple Watch-ból, az Intel-alapú Mac-ekből és a 2016-nál régebbi eszközökből hiányzik.

Az első ANE, amely az Apple A11 chipjében debütált a 2017-es iPhone X-ben, elég erős volt a Face ID és az Animoji támogatásához. Összehasonlításképpen, az A15 Bionic chip legújabb ANE-je 26-szor gyorsabb, mint az első verzió. Manapság az ANE olyan funkciókat tesz lehetővé, mint az offline Siri, és a fejlesztők használhatják korábban betanított ML-modellek futtatására, felszabadítva a CPU-t és a GPU-t, hogy a számukra jobban megfelelő feladatokra összpontosíthassanak.

Hogyan működik az Apple neurális motorja?

Az ANE olyan vezérlést és aritmetikai logikát biztosít, amely kiterjedt számítási műveletek elvégzésére, például szorzásra és felhalmozás, általánosan használt ML és AI algoritmusokban, például képosztályozásban, médiaelemzésben, gépi fordításban és több.

Alapján Az Apple szabadalma A "Multi-Mode Planar Engine for Neural Processor" elnevezésű ANE több neurális motormagból és egy vagy több többmódusú sík áramkörből áll.

A tervezés párhuzamos számításokra van optimalizálva, ahol sok műveletet, például billió iterációban futó mátrixszorzást kell egyszerre végrehajtani.

Az AI-algoritmusokban a következtetések felgyorsítása érdekében az ANE prediktív modelleket használ. Ezenkívül az ANE saját gyorsítótárral rendelkezik, és csak néhány adattípust támogat, ami segít a teljesítmény maximalizálásában.

AI jellemzők Az ANE által üzemeltetett

Íme néhány eszközön található funkció, amelyet az ANE lehetővé tesz.

• Természetes nyelvi feldolgozás: Gyorsabb, megbízhatóbb hangfelismerés a diktáláshoz és a Sirihez; Továbbfejlesztett természetes nyelvtanulás a Fordító alkalmazásban és az egész rendszerben; Azonnali szövegfordítás a Fotókban, a Fényképezőgépben és más iPhone-alkalmazásokban.
• Számítógépes látás: tárgyak keresése a képeken, például tereptárgyak, háziállatok, növények, könyvek és virágok a Fotók alkalmazás vagy a Spotlight keresés segítségével; További információk beszerzése a felismerte az objektumokat a Visual Look Up segítségével olyan helyeken, mint a Safari, a Mail és az Üzenetek.
• Kibővített valóság: Emberek elzáródása és mozgáskövetése az AR-alkalmazásokban.
• Videó elemzés: Arcok és tárgyak észlelése videón olyan alkalmazásokban, mint a Final Cut Pro.
• Kamera hatások: Automatikus vágás középső fokozattal; Háttér elmosódása FaceTime-videohívások közben.
• Játékok: Fotorealisztikus effektusok 3D-s videojátékokban.
• Élő szöveg: Optikai karakterfelismerést (OCR) biztosít a kamerában és a fényképekben, lehetővé téve a kézírás vagy szöveg, például Wi-Fi-jelszó vagy cím egyszerű másolását a képekről.
• Számítógépes fotózás: A Deep Fusion elemzi a képpontokat a jobb zajcsökkentés, a nagyobb dinamikatartomány, valamint a jobb automatikus expozíció és fehéregyensúly érdekében, adott esetben kihasználva az intelligens HDR-t; Sekély mélységélesség fotózás, beleértve az Éjszakai módú portrék készítését; A háttér elmosódás szintjének beállítása a Mélységszabályozással.
• Apróságok: Az ANE-t a Fényképezőgép alkalmazás fotózási stílusaihoz, a Memories kurátorához és a Fotók stilisztikai effektusaihoz is használják, személyre szabott javaslatok, például háttérképjavaslatok, VoiceOver-képaláírások, képmásolatok keresése Fényképek stb.

A fent említett funkciók némelyike, például a képfelismerés, ANE nélkül is működik, de sokkal lassabban működnek, és terhelik az eszköz akkumulátorát.

Az Apple Neural Engine rövid története: iPhone X-től M2 Mac-ig

2017-ben az Apple bevezette a legelső ANE-t két speciális mag formájában az iPhone X A11 chipjén belül. A mai mércével mérve viszonylag lassú volt, mindössze 600 milliárd művelet másodpercenként.

A második generációs ANE 2018-ban jelent meg az A12 chipben, négyszer annyi maggal. A másodpercenkénti ötbillió műveletre becsült ANE csaknem kilencszer gyorsabb volt, és elődje teljesítményének egytizedét használta ki.

A 2019-es A13 chip ugyanazzal a nyolcmagos ANE-vel rendelkezik, de egyötödével gyorsabban futott, miközben 15%-kal kevesebb energiát fogyasztott, ami a TSMC továbbfejlesztett 7 nm-es félvezető csomópontjának terméke. A TSMC (Taiwan Semiconductor Manufacturing Company) Apple által tervezett chipeket gyárt.

Az Apple Neural Engine evolúciója

A következő évben az Apple A14 csaknem megduplázta az ANE teljesítményét, 11 billió műveletre másodpercenként, amit az ANE magok számának 8-ról 16-ra növelésével érte el. 2021-ben az A15 Bionic profitált a TSMC második generációs 5 nm-es folyamatából, amely további magok hozzáadása nélkül tovább növelte az ANE teljesítményét 15,8 billió műveletre másodpercenként.

Az első Mac-hez kötött M1, M1 Pro és M1 Max chipek ugyanazt az ANE-t tartalmazták, mint az A14, így először került a fejlett, hardveres gyorsítású ML és AI a macOS platformra.

2022-ben az M1 Ultra két M1 Max chipet egyesített egyetlen csomagban az Apple egyedi, UltraFusion névre keresztelt interconnect segítségével. A kétszeres ANE maggal (32) az M1 Ultra megduplázta az ANE teljesítményét, másodpercenként 22 billió műveletre.

Az Apple A16 2022-ben a TSMC továbbfejlesztett N4 csomópontjának felhasználásával készült, ami körülbelül 8%-kal gyorsabb ANE teljesítményt (17 billió művelet másodpercenként) hozott az A15 ANE-hez képest.

Az első ANE-kompatibilis iPadek az ötödik generációs iPad mini (2019), a harmadik generációs iPad Air (2019) és a nyolcadik generációs iPad (2020) voltak. Az azóta kiadott összes iPad rendelkezik ANE-vel.

Hogyan használhatják a fejlesztők az ANE-t az alkalmazásokban?

Sok harmadik féltől származó alkalmazás használja az ANE-t olyan funkciókhoz, amelyek egyébként nem lennének megvalósíthatók. Például a Pixelmator Pro képszerkesztő olyan eszközöket biztosít, mint az ML Super Resolution és az ML Enhance. A djay Pro-ban pedig az ANE elválasztja az ütemeket, az instrumentális zenéket és az éneksávokat a felvételtől.

A külső fejlesztők azonban nem kapnak alacsony szintű hozzáférést az ANE-hez. Ehelyett minden ANE-hívásnak át kell mennie az Apple gépi tanulási szoftverkeretén, a Core ML-en. A Core ML segítségével a fejlesztők közvetlenül az eszközön építhetik, taníthatják és futtathatják ML-modelleiket. Ezt a modellt azután új bemeneti adatokon alapuló előrejelzések készítésére használják.

"Ha egy modell egy felhasználó eszközén van, a Core ML segítségével újra betaníthatja vagy finomhangolhatja az eszközön a felhasználó adataival" - olvasható a Core ML áttekintésében. Apple weboldal.

Az ML és AI algoritmusok felgyorsítása érdekében a Core ML nemcsak az ANE-t, hanem a CPU-t és a GPU-t is kihasználja. Ez lehetővé teszi a Core ML számára, hogy akkor is futtasson egy modellt, ha nincs elérhető ANE. De ANE jelenléte esetén a Core ML sokkal gyorsabban fog működni, és az akkumulátor sem merül le olyan gyorsan.

Számos Apple-szolgáltatás nem működne ANE nélkül

Az eszközön található számos funkció nem lenne lehetséges az AI és ML algoritmusok gyors feldolgozása, valamint az ANE által elérhető minimális memóriaterület és energiafogyasztás nélkül. Az Apple varázslatos eszköze egy dedikált társprocesszor a neurális hálózatok privát módon történő futtatásához az eszközön, ahelyett, hogy ezeket a feladatokat a felhőben lévő szerverekre rakná ki.

Az ANE segítségével az Apple és a fejlesztők mély neurális hálózatokat valósíthatnak meg, és kihasználhatják a gyorsított gépi tanulás különböző prediktív modellekhez, például gépi fordításhoz, tárgyfelismeréshez, képosztályozáshoz, stb.