A Google TensorFlow platformja lehetővé teszi a felhasználók számára, hogy mesterséges intelligenciát képezzenek azáltal, hogy eszközöket és erőforrásokat biztosít a gépi tanuláshoz. A mesterséges intelligencia mérnökei hosszú ideje hagyományos CPU-kat és GPU-kat használtak az AI betanítására. Bár ezek a processzorok különféle gépi tanulási folyamatokat képesek kezelni, mégis általános célú hardverek, amelyeket különféle mindennapi feladatokhoz használnak.
Az AI képzés felgyorsítása érdekében a Google kifejlesztett egy alkalmazásspecifikus integrált áramkört (ASIC), amely Tensor Processing Unit (TPU) néven ismert. De mi az a Tensor Processing Unit, és hogyan gyorsítják fel az AI programozást?
Mik azok a tenzor feldolgozó egységek (TPU)?
A tenzor feldolgozó egységek a Google-é ASIC a gépi tanuláshoz. A TPU-kat kifejezetten mély tanulásra használják összetett mátrix- és vektorműveletek megoldására. A TPU-k áramvonalasak a mátrix- és vektorműveletek rendkívül nagy sebességű megoldására, de az utasítások adásához és végrehajtásához CPU-val kell párosítani őket. A TPU-k csak a Google-vel használhatók
TensorFlow vagy TensorFlow Lite platform, akár felhőalapú számítástechnikával, akár helyi hardveren lévő egyszerűsített verziójával.Alkalmazások TPU-khoz
A Google 2015 óta használ TPU-kat. Azt is megerősítették, hogy ezeket az új processzorokat használják a Google Street View szövegfeldolgozáshoz, a Google Fotókhoz és a Google keresési eredményekhez (Rank Brain). valamint egy AlphaGo néven ismert mesterséges intelligencia létrehozása, amely legyőzte a legjobb Go játékosokat, valamint az AlphaZero rendszert, amely nyert a sakk, a go és a vezető programok ellen. Shogi.
A TPU-k különféle mély tanulási alkalmazásokban használhatók, mint például a csalásészlelés, a számítógépes látás, a természetes nyelv feldolgozás, önvezető autók, hangos mesterséges intelligencia, mezőgazdaság, virtuális asszisztensek, tőzsdei kereskedés, e-kereskedelem és különféle közösségi jóslatok.
Mikor érdemes TPU-kat használni
Mivel a TPU-k speciális hardverek a mély tanuláshoz, sok egyéb funkciót elveszítenek, amelyek általában elvárhatók egy általános célú processzortól, például egy CPU-tól. Ezt szem előtt tartva, vannak konkrét forgatókönyvek, amikor a TPU-k használata a legjobb eredményt hozza az AI betanítása során.
A legjobb alkalom a TPU használatára olyan műveleteknél, ahol a modellek nagymértékben támaszkodnak a mátrix számításokra, például a keresőmotorok ajánlási rendszereire. A TPU-k nagyszerű eredményeket adnak azoknál a modelleknél is, amelyekben az AI hatalmas mennyiségű adatpontot elemez, amelyek elkészítése több hetet vagy hónapot vesz igénybe. A mesterséges intelligencia mérnökei TPU-kat használnak az egyedi TensorFlow modellek nélküli esetekben, és a nulláról kell kezdeniük.
Mikor ne használjon TPU-kat
Amint azt korábban említettük, a TPU-k optimalizálása miatt az ilyen típusú processzorok csak meghatározott terhelési műveleteken működnek. Ezért vannak olyan esetek, amikor a hagyományos CPU és GPU használata gyorsabb eredményeket hoz. Ilyen esetek a következők:
- Gyors prototípuskészítés maximális rugalmassággal
- A rendelkezésre álló adatpontok által korlátozott modellek
- Egyszerű és gyorsan betanítható modellek
- A modellek túl nehézkesek a változtatáshoz
- A C++ nyelven írt egyedi TensorFlow műveletekre támaszkodó modellek
TPU verziók és specifikációk
Mióta a Google bejelentette TPU-it, a nyilvánosság folyamatosan értesül a TPU-k legújabb verzióiról és specifikációiról. Az alábbiakban felsoroljuk az összes TPU-verziót specifikációkkal:
| TPUv1 | TPUv2 | TPUv3 | TPUv4 | Edgev1 | |
|---|---|---|---|---|---|
| Bevezetés dátuma | 2016 | 2017 | 2018 | 2021 | 2018 |
| Folyamat csomópont (nm) | 28 | 16 | 16 | 7 | |
| A szerszám mérete (mm²) | 331 | <625 | <700 | <400 | |
| Chip-memória | 28 | 32 | 32 | 144 | |
| Órajel (MHz) | 700 | 700 | 940 | 1050 | |
| Legkisebb memória konfiguráció (GB) | 8 DDR3 | 16 HBM | 32 HBM | 32 HBM | |
| TDP (watt) | 75 | 280 | 450 | 175 | 2 |
| TOPS (Tera műveletek másodpercenként) | 23 | 45 | 90 | ? | 4 |
| TOPS/W | 0.3 | 0.16 | 0.2 | ? | 2 |
Amint láthatja, a TPU órajelei nem tűnnek olyan lenyűgözőnek, különösen akkor, ha a mai modern asztali számítógépek 3-5-ször gyorsabbak lehetnek. De ha megnézzük a táblázat alsó két sorát, láthatjuk, hogy a TPU-k másodpercenként 23-90 tera műveletet képesek feldolgozni mindössze 0,16-0,3 watt teljesítménnyel. A TPU-k becslések szerint 15-30-szor gyorsabbak, mint a modern CPU-k és GPU-k, ha neurális hálózati interfészt használnak.
Minden egyes verzió kiadásával az újabb TPU-k jelentős fejlesztéseket és képességeket mutatnak. Íme néhány kiemelés az egyes verziókhoz.
- TPUv1: Az első nyilvánosan bejelentett TPU. 8 bites mátrixszorzó motornak készült, és csak egész számok megoldására korlátozódik.
- TPUv2: Mivel a mérnökök megállapították, hogy a TPUv1 sávszélessége korlátozott. Ez a verzió most dupla sávszélességgel rendelkezik 16 GB RAM-mal. Ez a verzió már képes megoldani a lebegőpontokat, így hasznos lehet a képzéshez és a következtetésekhez.
- TPUv3: A 2018-ban kiadott TPUv3 kétszer annyi processzorral rendelkezik, és négyszer annyi chippel van telepítve, mint a TPUv2. A frissítések lehetővé teszik, hogy ez a verzió nyolcszor nagyobb teljesítményt nyújtson a korábbi verziókhoz képest.
- TPUv4: Ez a TPU legújabb verziója, amelyet 2021. május 18-án jelentettek be. A Google vezérigazgatója bejelentette, hogy ez a verzió több mint kétszerese lesz a TPU v3 teljesítményének.
- Edge TPU: Ez a TPU-verzió kisebb műveletekhez készült, és az általános működés során kevesebb energiát fogyaszt, mint a TPU más verziói. Bár csak két watt teljesítményt használ, az Edge TPU másodpercenként akár négy terra-műveletet is képes megoldani. Az Edge TPU csak kisméretű kézi eszközökön található, például a Google Pixel 4 okostelefonján.
Hogyan férhet hozzá a TPU-khoz? Ki használhatja őket?
A TPU-k szabadalmaztatott feldolgozó egységek, amelyeket a Google a TensorFlow platformmal való használatra tervezett. A harmadik felek hozzáférése ezekhez a processzorokhoz 2018 óta engedélyezett. Ma a TPU-k (az Edge TPU-k kivételével) csak a Google-n keresztül érhetők el számítástechnikai szolgáltatások a felhőn keresztül. Míg az Edge TPU hardver megvásárolható a Google Pixel 4 okostelefonján és annak Coral néven ismert prototípus-készletén keresztül.
A Coral egy USB-gyorsító, amely USB 3.0 Type C-t használ adat- és tápellátáshoz. Edge TPU-val látja el eszközét, amely 4 TOPS-ra képes minden 2 W teljesítményre. Ez a készlet Windows 10, macOS és Debian Linux operációs rendszert használó gépeken futhat (működhet a Raspberry Pi-vel is).
Egyéb speciális AI-gyorsítók
Mivel az elmúlt évtizedben a mesterséges intelligencia divatos volt, a Big Tech folyamatosan keresi a módokat arra, hogy a gépi tanulást a lehető leggyorsabbá és leghatékonyabbá tegye. Bár a Google TPU-i vitathatatlanul a legnépszerűbb ASIC, amelyet mély tanulásra fejlesztettek ki, más technológiai vállalatok, mint például az Intel, a Microsoft, az Alibaba és a Qualcomm is kifejlesztették saját AI-gyorsítóikat. Ezek közé tartozik a Microsoft Brainwave, az Intel Neural Compute Stick és a Graphicore IPU (Intelligence Processing Unit).
Miközben azonban több mesterséges intelligencia hardvert fejlesztenek, sajnos a legtöbb még nem lesz elérhető a piacon, és sokan soha nem is fognak. Az írás pillanatában, ha valóban mesterséges intelligenciagyorsító hardvert szeretne vásárolni, a legnépszerűbb lehetőség egy Coral prototípus-készítő készlet, egy Intel NCS, egy Graphicore Bow Pod vagy egy Asus IoT AI Accelerator vásárlása. Ha csak speciális mesterségesintelligencia-hardverhez szeretne hozzáférni, használhatja a Google felhőalapú számítástechnikai szolgáltatásait vagy más alternatívákat, például a Microsoft Brainwave-ot.
