Míg az OpenAI élen jár a generatív AI-fejlesztésben, sokan lemaradással vádolják a Google-t. Azonban, hogy ne maradjunk le, a Google a 2023-as Google I/O konferencián bemutatta az új nagy nyelvi modellt, a PaLM 2-t.

Négy különböző méretben kapható számos alkalmazáshoz, a Google új LLM-je láthatóan már több Google-szolgáltatást is működtet, és még sok más várható.

Mi az a PaLM 2?

A május 10-én megrendezett Google I/O 2023 rendezvényen a Google vezérigazgatója, Sunda Pichai bemutatta a Google legújabb játékszerét: PaLM 2.

A Pathways Language Model 2 rövidítése, a Google továbbfejlesztett LLM-je a PaLM második iterációja, az első verzió 2022 áprilisában jelenik meg. Nem emlékszik a PaLM-ra? Nos, akkoriban ez nagy hír volt, és rengeteg érdeklődést váltott ki, amiért képes egy kicsit beszélgetni, alapvető vicceket mesélni stb. Gyors előre hat hónap, és Az OpenAI GPT-3.5 mindent kifújt a vízből, köztük a PaLM.

Azóta, Az OpenAI elindította a GPT-4-et, a GPT-3.5 hatalmas frissítése. Miközben azonban az újabb modellt számos eszközbe integrálják, mindenekelőtt a Microsoft Bing AI Chatjébe, a Google célba veszi az OpenAI-n és a GPT-4-en a PaLM 2-vel, és reméli, hogy továbbfejlesztett LLM-je be tudja zárni a jelentősnek tűnő hiányt – a Google Bard bevezetése aligha volt üvöltő siker.

Pichai bejelentette, hogy a PaLM 2 négy különböző modellméretben érkezik: Gecko, Otter, Bison és Unicorn.

A Gecko annyira könnyű, hogy mobileszközökön is működik, és elég gyors a nagyszerű interaktív alkalmazásokhoz az eszközön, még offline állapotban is. Ez a sokoldalúság azt jelenti, hogy a PaLM 2 finomhangolható, hogy több módon támogassa az egész termékosztályt, hogy több embernek segítsen.

Mivel a Gecko másodpercenként körülbelül 20 tokent képes feldolgozni – a tokenek a valódi szavakhoz rendelt értékek a generatív AI-modellek számára –, úgy tűnik, hogy megváltoztatja a mobilra telepíthető AI-eszközöket.

PaLM 2 képzési adatok

A Google nem érkezett meg pontosan a PaLM 2 edzési adataival, érthető, mivel csak most adták ki. De a Googleé PaLM 2 jelentés A [PDF] azt mondta, hogy azt szeretné, ha a PaLM 2 mélyebben megértené a matematikát, a logikát és a természettudományokat, és a képzési korpusz nagy része ezekre a témákra összpontosított.

Ennek ellenére érdemes megjegyezni, hogy a PaLM nem volt lomha. Amikor Google feltárta a PaLM, megerősítette, hogy 540 milliárd paraméterre képezték ki, ami akkoriban kolosszális adat volt.

Az OpenAI GPT-4-je állítólag több mint egy billió paramétert használ, egyes feltételezések szerint ez a szám akár 1,7 billió is lehet. Biztonságos fogadás, hogy mivel a Google azt akarja, hogy a PaLM 2 közvetlenül versenyezzen az OpenAI LLM-eivel, legalább hasonló számot fog tartalmazni, ha nem többet.

A PaLM 2 másik jelentős lökése a nyelvoktatási adatok. A Google több mint 100 nyelven betanította a PaLM 2-t, hogy nagyobb mélységet és kontextus megértést biztosítson, és növelje a fordítási képességeit.

De nem csak beszélt nyelvekről van szó. A Google azon igényéhez kapcsolódva, hogy a PaLM 2 jobb tudományos és matematikai érvelést biztosítson, az LLM több mint 20 programozási nyelvre is kiképezték, ami a programozók számára fenomenális előnyt jelent.

A PaLM 2 már működteti a Google szolgáltatásait – de még mindig finomhangolást igényel

Nem tart sokáig, amíg a kezünkbe vehetjük a PaLM 2-t, és meglátjuk, mire képes. Bármilyen szerencsével, bármelyik PaLM 2 alkalmazás és szolgáltatás elindítása jobb lesz, mint a Bard.

De lehet, hogy (technikailag!) már használtad a PaLM 2-t. A Google megerősítette, hogy a PaLM 2 már telepítve van és 25 termékében használatban van, beleértve az Androidot, a YouTube-ot, a Gmailt, a Google Dokumentumokat, a Google Diákat, a Google Táblázatokat és még sok mást.

A PaLM 2 jelentés azonban azt is feltárja, hogy van még tennivaló, különösen a toxikus válaszok terén számos nyelven.

Például, ha kifejezetten mérgező figyelmeztetéseket kap, a PaLM 2 az esetek több mint 30 százalékában toxikus reakciókat generál. Ezenkívül bizonyos nyelveken – angolul, németül és portugálul – a PaLM 2 több mérgező választ adott. az esetek 17 százalékánál, a faji identitás és a vallások miatti felhívások pedig ezt az arányt erősítik. magasabb.

Bármennyire is próbálják a kutatók megtisztítani az LLM képzési adatokat, elkerülhetetlen, hogy néhányan átcsúsznak. A következő fázis a PaLM 2 képzésének folytatása a mérgező válaszok csökkentése érdekében.

Ez egy fellendülés időszaka a nagy nyelvű modellek számára

Nem az OpenAI volt az első, aki nagy nyelvi modellt dobott piacra, de a GPT-3, GPT-3.5 és GPT-4 modellek kétségtelenül megvilágították a generatív mesterséges intelligencia kék érintőpapírját.

A Google PaLM 2-vel van néhány megoldandó probléma, de az, hogy már több Google-szolgáltatásban is használatban van, mutatja a vállalat bizalmát legújabb LLM-je iránt.