Mi az AI Transfer Learning és hogyan működik?

Ha érdekli saját mesterséges intelligencia-modelljének betanítása a természetes nyelvi feldolgozáshoz (NLP) vagy a számítógépes látásmódhoz, akkor ismerkedjen meg az átviteli tanulással és az előre betanított modellek használatával.

Transzfertanulás nélkül a hatékony és megbízható modell képzése gyakran erőforrás-tiltó törekvés lesz, amely megköveteli rengeteg pénzt, időt és szakértelmet, a ChatGPT fejlesztő OpenAI becslések szerint milliókat költött a GPT-3, GPT-3.5 és GPT-4. Az átviteli tanulás erejével rövid időn belül olyan hatékonyan betaníthatja saját modelljét, mint a legújabb GPT-modell.

Mi az AI Transfer Learning?

A transzfertanulás egy előre kiképzett modell, például a BERT vagy valamelyik különböző GPT modellek és egy egyéni adathalmazra betanítja, hogy olyan feladatokon dolgozzon, amelyekre nem feltétlenül volt kiképezve.

Például használhat egy előre kiképzett modellt a különböző macskafajták osztályozására, és betaníthatja a kutyák osztályozására. A transzfertanulás révén a kutyabesorolási modell betanítása lényegesen kevesebb időt és erőforrást igényel, hogy olyan megbízhatóvá váljon, mint az eredeti macskaosztályozó modell.

Ez működik, mivel a macskák és a kutyák sok olyan tulajdonsággal rendelkeznek, amelyet az előre kiképzett modell már felismer. Mivel a macskaosztályozó modell képes azonosítani a macska különféle tulajdonságait, például négy lábát, bundáját és kiemelkedő pofák, a kutyaosztályozó modell képes kihagyni az összes képzést, hogy azonosítsa ezeket a tulajdonságokat, és örökölje őket az eredetitől modell. Miután örökölte ezeket a neurális hálózatokat, levágja a kiképzett modell utolsó rétegeit, amelyet a macska specifikusabb tulajdonságainak azonosítására használnak, és helyettesíti azokat egy kutyákra jellemző adatkészlettel.

Milyen mesterséges intelligencia modelleket használhat transzfertanuláshoz?

Az átviteli tanulás használatához egy előre betanított modellre lesz szüksége. Az előre betanított modellt általában mesterséges intelligencia-modellnek nevezik, amelyet azzal a céllal képeztek, hogy általános ismereteket szerezzen egy adott témáról vagy ötletről. Az ilyen típusú előre betanított modellek célja, hogy az emberek finomhangolhassák és alkalmazás-specifikusabb modelleket készítsenek. A legnépszerűbb előre betanított modellek némelyike ​​NLP-re készült, mint pl BERT és GPTés számítógépes látás, például VGG19 és Inceptionv3.

Bár népszerűek, ezek a könnyen finomhangolható modellek nem az egyetlenek, amelyeket használhat átviteli tanuláshoz. Használhat olyan modelleket is, amelyek az általános objektum- vagy nyelvfelismerésnél specifikusabb feladatokra tanítottak. Mindaddig, amíg a modell neurális hálózatokat fejlesztett ki a betanítani kívánt modellhez, szinte bármilyen modellt használhat az átviteli tanuláshoz.

Nyilvánosan elérhető, előre betanított modelleket szerezhet be olyan helyekről, mint a TensorFlow Hub, a Hugging Face és az OpenAI modellpiac.

Az AI Transfer Learning használatának előnyei

A transzfertanulás számos előnnyel jár, mint egy mesterséges intelligencia-modell nulláról való betanítása.

• Csökkentett edzésidő: Amikor egy modellt a nulláról tanítanak, a képzési folyamat nagy részét az általános alapismeretek megszerzésére fordítják. Az átviteli tanulás révén az Ön modellje automatikusan örökli ezeket az alapismereteket, így jelentősen csökkenti a képzési időt.
• Kevesebb erőforrásigény: Mivel minden alapozó tudás már megvan, mindössze annyit kell tennie, hogy továbbképzi a modellt az alkalmazás sajátosságaihoz. Ehhez gyakran csak egy viszonylag kis adatkészletre van szükség, amelyet kisebb számítási teljesítménnyel lehet feldolgozni.
• Jobb teljesítmény: Hacsak nem költ több millió dollárt a modell megépítésére a semmiből, nem várhat el egy olyan jó vagy megbízható modellt, mint egy nagy nyelvi modell (LLM) egy óriási technológiai vállalattól. Az átviteli tanulás használatával kihasználhatja ezeknek az előre képzett LLM-eknek, például a GPT-nek a hatékony képességeit, hogy javítsa modellje teljesítményét.

Lehetséges egy mesterséges intelligencia modellt a semmiből betanítani, de ehhez több erőforrásra van szükség.

Hogyan működik a transzfertanulás?

A tanulás átvitelének lényegében három szakasza van.

• Előképzett modell kiválasztása: Az előre betanított modell kezdeti betanításon esik át egy forrásfeladatból, például az ImageNetből származó méretes adatkészlet vagy egy nagy szöveggyűjtemény felhasználásával. Ez a kezdeti betanítási szakasz lehetővé teszi a modell számára, hogy ismereteket szerezzen az adatkészletben található általános jellemzőkről és mintákról. Az átviteli tanulással megtakarított idő és erőforrások mennyisége az előre betanított modell és az építeni kívánt modell közötti hasonlóságoktól függ.
• Funkció kivonás: Miután kiválasztott egy előre betanított modellt a finomhangoláshoz, az előre betanított modell kezdeti rétegei (a bemenethez legközelebb eső) lefagynak; ez azt jelenti, hogy súlyukat rögzítették a finomhangolás során. Ezeknek a rétegeknek a befagyasztása megőrzi az előképzési szakaszban elsajátított általános ismereteket, és megakadályozza, hogy a célmodell feladatspecifikus adatkészlete erősen befolyásolja őket. A konkrét alkalmazásokhoz teljesen betanított modellek esetében a modellek végső rétegeit eltávolítják vagy nem tanulják meg, hogy a célmodell más speciális alkalmazásokban betanítható legyen.
• Finomhangolás: Az előre betanított modell lefagyasztása és a felső rétegek eltávolítása után egy új adatkészlet kerül a tanulási algoritmusba, amelyet azután az új modell és alkalmazásának sajátosságai betanításához használnak.

A három szakasznál többről van szó, de ez a vázlat nagyjából részletezi az AI-transzfer tanulási folyamatának működését, némi finomhangolással.

Az AI Transfer Learning korlátai

Bár a transzfertanulás értékes fogalom a hatékony és megbízható modellek képzésében, jó néhány korlátozást tudnia kell, ha a transzfertanulást modell betanítására használja.

• Feladat eltérés: Az átviteli tanulás alapmodelljének kiválasztásakor annak a lehető legrelevánsabbnak kell lennie az új modell által megoldandó problémákhoz. Ha olyan modellt használunk, amely besorolja a macskákat egy kutyabesorolási modell létrehozására, akkor nagyobb valószínűséggel fog jobb eredményeket elérni, mint egy autó-osztályozó modell használatával a növények modelljének létrehozásához. Minél relevánsabb az alapmodell az elkészíteni kívánt modellhez, annál több időt és erőforrást takarít meg az átviteli tanulási folyamat során.
• Adatkészlet torzítás: Bár az előre betanított modelleket gyakran nagy adathalmazokban képezik, továbbra is fennáll annak a lehetősége, hogy a képzés során bizonyos torzítást alakítottak ki. Az erősen torzított alapmodell használata azt is eredményezné, hogy a modell örökli a torzításait, így csökken a modell pontossága és megbízhatósága. Sajnos ezeknek a torzításoknak az eredetét nehéz pontosan meghatározni, mivel a a mély tanulás feketedobozos jellege.
• Túlszerelés: Az átviteli tanulás egyik fő előnye, hogy viszonylag kis adatkészletet használhat a modell további betanításához. A modell túl kicsi adatkészleten való betanítása azonban túlillesztést okozhat, ami jelentősen csökkenti a modell megbízhatóságát, ha új adatokkal látják el.

Tehát bár az átviteli tanulás egy praktikus mesterséges intelligencia tanulási technika, léteznek korlátok, és ez nem egy ezüstgolyó.

Használja a transzfertanulást?

Amióta rendelkezésre állnak az előre betanított modellek, az átviteli tanulást mindig speciálisabb modellek készítésére használják. Valójában nincs ok arra, hogy ne használja az átviteli tanulást, ha már van egy előre betanított modell, amely releváns a modell által megoldandó problémákhoz.

Noha lehetséges egy egyszerű gépi tanulási modellt a semmiből betanítani, ehhez egy mély tanulási modellre lesz szükség rengeteg adat, idő és készség, aminek nem lesz értelme, ha egy meglévő modellt a tervezetthez hasonlóhoz tud újra felhasználni. vonat. Tehát, ha kevesebb időt és pénzt szeretne egy modell képzésére fordítani, próbálja meg modelljét transzfertanuláson keresztül képezni.