A ChatGPT az OpenAI játékmódosító mesterséges intelligencia chatbotja, amely lenyűgözi az internetet. Minden bevett technológiai trend ellenére nem tartott sokáig, hogy a ChatGPT utat találjon digitális életünk szinte minden területére.
Nagyon kevés technológiai újítás váltott ki akkora érdeklődést, mint amennyit a ChatGPT ilyen rövid idő alatt elért. Úgy tűnik, soha nem fogy ki a menő trükkökből – minden nap olyan izgalmas új dolgokat tanulunk meg, amelyekről nem is tudtuk, hogy képes.
De hogyan képes a ChatGPT megtenni azokat a dolgokat, amelyeket megtehet? Hogyan működik a ChatGPT?
Hogyan épült fel a ChatGPT?
A ChatGPT működésének megértéséhez érdemes megvizsgálni annak eredetét és az élvonalbeli AI chatbot mögötti agyat.
Először is, bármennyire is varázslatosnak tűnik a ChatGPT, az emberek zsenije építette, mint minden más értékes szoftvertechnológiát. Az OpenAI létrehozta a ChatGPT-t, a forradalmian új mesterséges intelligencia-kutató és fejlesztő céget, amely olyan hatékony AI-eszközök mögött áll, mint a DALL-E, az InstructGPT és a Codex. Korábban már válaszoltunk
néhány kérdésed lehet a ChatGPT-vel kapcsolatban, szóval nézd meg.Míg a ChatGPT 2022 vége felé terjedt el, a ChatGPT alapját képező technológia nagy része már jóval régebb óta létezik, bár sokkal kevesebb nyilvánosságot kapott. A ChatGPT modell a GPT-3 (vagy pontosabban a GPT-3.5) tetejére épül. A GPT a „Generative Pre-train Transformer 3” rövidítése.
A GPT-3 a GPT mesterséges intelligencia modellek sorának harmadik iterációja, és a GPT-2 és a GPT előzte meg. A GPT modellek korábbi iterációi ugyanilyen hasznosak, de a GPT-3 és a finomhangolt GPT-3.5 iteráció sokkal erősebb. A legtöbb, amire a ChatGPT képes a mögöttes GPT-3 technológiának köszönhető.
Mi az a GPT?
Tehát megállapítottuk, hogy a ChatGPT a GPT-modell harmadik generációjára épül. De mi is az a GPT?
Kezdjük azzal, hogy könnyen emészthető és nem technikai módon kicsomagoljuk a rövidítéseket.
- A „Generatív” a GPT-ben a természetes emberi nyelvű szöveg létrehozásának képességét jelenti.
- Az "előképzett" azt a tényt jelenti, hogy a modellt már betanították valamilyen véges adatkészletre. Mintha elolvasna egy könyvet vagy esetleg több könyvet, mielőtt felkérnék, hogy válaszoljon a vele kapcsolatos kérdésekre.
- A „Transformer” azt a mögöttes gépi tanulási architektúrát képviseli, amely a GPT-t vezérli.
Mindezt összeadva a Generative Pre-trained Transformer (GPT) egy olyan nyelvi modell, amely az internetről származó adatok felhasználásával képezték ki azzal a céllal, hogy emberi nyelvű szöveget generáljanak, amikor bemutatják a gyors. Tehát többször mondtuk, hogy a GPT-t betanították, de hogyan képezték?
Hogyan képezték ki a ChatGPT-t?
Magát a ChatGPT-t nem képezték ki az alapoktól kezdve. Ehelyett a GPT-3.5 finomhangolt változata, amely maga a GPT-3 finomhangolt változata. A GPT-3 modellt hatalmas mennyiségű, az internetről gyűjtött adattal képezték ki. Gondoljunk csak a Wikipédiára, a Twitterre és a Redditre – adatokat és emberi szövegeket tápláltak az internet minden sarkából.
Ha kíváncsi arra, hogyan működik a GPT-képzés, a GPT-3 képzése a felügyelt tanulás és az emberi visszacsatoláson keresztül történő megerősítéses tanulás (RLHF) kombinációjával történt. A felügyelt tanulás az a szakasz, ahol a modellt az internetről kimásolt nagy mennyiségű szövegen képezik ki. A megerősítő tanulási szakaszban arra tanítják, hogy jobb válaszokat adjon, amelyek összhangban állnak azzal, amit az emberek emberszerűnek és helyesnek fogadnának el.
Képzés felügyelt tanulással
Ahhoz, hogy jobban megértse, hogyan vonatkozik a felügyelt és megerősített tanulás a ChatGPT-re, képzeljen el egy olyan forgatókönyvet, amelyben egy tanulót esszéírásra tanít meg egy tanár. A felügyelt tanulás egyenértékű azzal, ha a tanár több száz esszét ad a tanulónak elolvasni. Itt az a cél, hogy a tanuló megtanulja, hogyan kell egy esszét megírni azáltal, hogy hozzászokik több száz esszé hangneméhez, szókincséhez és szerkezetéhez.
A több száz esszé között azonban lesz jó és rossz is. Mivel a tanulót jó és rossz példányokra is kiképezték, előfordulhat, hogy a tanuló rossz esszét ír, mert valamikor rossz esszéket is kapott. Ez azt jelenti, hogy amikor a tanulót esszé megírására kérik fel, előfordulhat, hogy olyan példányt ír, amely nem elfogadható vagy nem elég jó a tanár számára. Itt jön képbe a megerősítő tanulás.
Képzés megerősítő tanulással
Miután a tanár több száz esszé elolvasásával megállapítja, hogy a tanuló megértette az esszéírás általános szabályait, a tanár gyakori esszéírást ad a tanulónak. Ezt követően a tanár visszajelzést adott a házi dolgozat írásáról, elmondva a tanulóknak, hogy mit csináltak jól, és miben tudnának fejlődni. A tanuló a visszajelzést arra használja, hogy irányítsa a későbbi esszéírás házi feladatát, segítve a tanulót, hogy idővel fejlődjön.
Ez hasonló a GPT-modell képzésének megerősítéses tanulási szakaszához. Az internetről kikapart hatalmas mennyiségű szöveget betáplálva a modell válaszolhat a kérdésekre. A pontossága azonban nem lesz elég jó. Az emberi trénerek kérdést tesznek fel a modellnek, és visszajelzést adnak arról, hogy melyik válasz a megfelelőbb az egyes kérdésekre.
A modell a visszacsatolás segítségével javítja azon képességét, hogy pontosabban válaszoljon a kérdésekre, és jobban hasonlítson arra, hogyan reagálna az ember. Így tud a ChatGPT emberi hangzású válaszokat generálni, amelyek koherensek, vonzóak és általában pontosak.
Hogyan tud a ChatGPT válaszolni a kérdésekre?
Tehát látogasson el a ChatGPT webhelyére, és jelentkezzen be. Kéri a ChatGPT-t: "írj egy rap dalt Snoop Dogg stílusában." Szövegekkel válaszol egy rap dalra, amely feltűnően hasonlít ahhoz, amit Snoop Dogg írna. Hogyan lehetséges ez?
Nos, a ChatGPT mögött meghúzódó „varázslat” mind szorosan kapcsolódik a képzéshez.
Miután megvizsgálta a Fizika 101 tankönyvének minden centiméterét, jó eséllyel meg tud majd válaszolni minden felmerülő kérdést. Miért? Mert elolvastad, és megtanultad. Ugyanez a helyzet a ChatGPT-vel – megtanulja. És ahogy az emberi civilizáció megmutatta, kellő képzettséggel szinte minden probléma megoldható.
Bár valószínűleg több száz könyvet kezelhet élete során, a ChatGPT vagy a GPT máris felemésztette az internet hatalmas részét. Ez hatalmas mennyiségű információ. Ott, valahol valószínűleg Snoop Dogg számos dalának szövege található. Tehát természetesen a ChatGPT biztosan fogyasztotta (ne feledje, hogy előre ki van képezve), és felismerte a mintákat Snoop Dogg dalszövegeiben. Ezután ennek a mintának a "ismeretét" használja fel, hogy "megjósolja" egy dal szövegét, amely hasonló ahhoz, amit Snoop Dogg írna.
Itt a hangsúly a "jósláson" van. A ChatGPT nem válaszol ugyanúgy a kérdésekre, mint az emberek. Például, amikor egy olyan kérdéssel szembesül, mint: "Mi Portugália fővárosa?" mondhatod a Lisszabont, és mondhatod "tényként". A ChatGPT azonban nem válaszol 100%-os biztonsággal a kérdésekre. Ehelyett megpróbálja megjósolni a helyes választ a betanítási adatkészletében felhasznált adatok alapján.
A ChatGPT megközelítése a kérdések megválaszolásához
A válaszok előrejelzésének fogalmának jobb megértéséhez képzelje el a ChatGPT-t, mint egy nyomozót, akinek feladata egy gyilkosság megoldása. A nyomozónak bizonyítékokat mutatnak be, de nem tudják, ki követte el a gyilkosságot és hogyan történt. Elegendő bizonyíték birtokában azonban a nyomozó nagy pontossággal meg tudja "jósolni", hogy ki a felelős a gyilkosságért és hogyan követték el a bűncselekményt.
Az internetről származó adatok felhasználása után a ChatGPT elveti az eredeti adatokat, és eltárolja az adatokból tanult neurális kapcsolatokat vagy mintákat. Ezek a kapcsolatok vagy minták olyan bizonyítékok, amelyeket a ChatGPT elemzi, amikor megpróbál válaszolni bármilyen felszólításra.
Tehát elméletileg a ChatGPT olyan, mint egy nagyon jó nyomozó. Nem tudja biztosan, mi legyen a válasz ténye, de igyekszik, lenyűgözően pontosság, az emberi nyelvű szöveg logikai sorrendjének előrejelzése, amely a legmegfelelőbb választ adna a kérdés. Így kapsz választ a kérdéseidre.
És ez az oka annak is, hogy a válaszok némelyike nagyon meggyőzőnek tűnik, de borzasztóan téves.
ChatGPT: Emberként válaszol, gépként gondolkodik
A ChatGPT mögöttes technikai részletei összetettek. Kezdetleges szempontból azonban úgy működik, hogy megtanulja, és felszólításra reprodukálja a tanultakat, akárcsak mi, emberek.
Ahogy a ChatGPT a kutatás során fejlődik, működése megváltozhat. Alapvető működési elvei azonban egy ideig változatlanok maradnak, legalábbis addig, amíg meg nem érkezik egy bomlasztó új technológia.