Mi az a ChatGPT token limit, és túl lehet-e lépni?

A ChatGPT viharba vette a technológiai világot, és nincs hiány fejlesztésekből és frissítésekből. De a fejlett technológia használata ellenére a jelenlegi verzióban számos korlátozó tényező van.

Az egyik ilyen tényező a token rendszer, amely továbbra is megtöri az evolúciós ciklust, és térdre kényszeríti az alkalmazás segédprogramját. Ha ChatGPT-t használ, érdemes tudnia a ChatGPT tokenekről és arról, hogy mit kell tennie, ha kifogy a tokenekből.

Tegyünk egy lépést hátra, és engedjünk betekintést az alkalmazás mögött meghúzódó működési mechanizmusok összességébe.

Mi az a ChatGPT token?

Ha az alkalmazás homlokzata mellett halad, csak egy számítógépes nyelvet lát, amely engedelmeskedik parancsainak, és megadja a keresett válaszokat. A háttér azonban csak sok kódból áll, minden percben tanul, és felgyorsul a megválaszolt kérdésekkel.

A ChatGPT minden szót olvasható tokenné alakít át, amikor Ön kérdést tesz fel. A további bontáshoz a tokenek szövegtöredékek, és minden programozási nyelv más-más tokenértéket használ a követelmények megértéséhez.

Mivel a számítógépek nem értik meg közvetlenül a szöveges értékeket, számok kombinációjára bontják őket, amelyeket gyakran beágyazásnak neveznek. Még a beágyazásokat is fontolóra veheti, mint pl Python listák, amelyek hasonlítanak a kapcsolódó számok listájára, például [1.1,2.1,3.1,4.1…n].

Miután a ChatGPT megkapja a kezdeti bevitelt, megpróbálja megjósolni a következő lehetséges bevitelt az előző információk alapján. Kiválasztja az előző tokenek teljes listáját, és kódolási szintézisével megpróbálja megelőzni a felhasználó későbbi bevitelét. Egyszerre egy-egy tokent használ és jósol, hogy a nyelv könnyebben megértse a használatot.

Az előrejelzések javítása és a pontosság javítása érdekében felveszi a beágyazások teljes listáját, és átadja azt transzformátorrétegeken, hogy asszociációkat hozzon létre a szavak között. Például, amikor feltesz egy kérdést, mint például: "Ki Thomas Edison?", a ChatGPT felveszi a listából a legértékesebb szavakat: WHO és Edison.

A transzformátorrétegeknek megvan a maguk szerepe az egész folyamatban. Ezek a rétegek a neurális hálózati architektúra egy formája, amely arra van kiképezve, hogy a legrelevánsabb kulcsszavakat vegye ki egy szóból. A betanítási folyamat azonban nem olyan egyszerű, mint amilyennek hangzik, mert sok időt vesz igénybe a transzformátorrétegek betanítása gigabájt adatokon.

Annak ellenére, hogy a ChatGPT egyszerre csak egy tokent jósol meg, az auto-regresszív technológiája úgy van programozva, hogy előre jelezze és visszacsatoljon az elsődleges modellbe, hogy kiadja a kimenetet. A modell úgy van beállítva, hogy minden tokennél csak egyszer fusson le, így az eredményt egy-egy szó nyomtatja ki. A kimenet automatikusan leáll, ha az alkalmazás stop token parancsot talál.

Például, ha megnézi a token-kalkulátort a ChatGPT webhelyen, akkor kérdései alapján kiszámíthatja a tokenhasználatot.

Adjunk meg néhány minta szöveget, például:

Hogyan magyarázzam el a tokenek használatát? ban ben ChatGPT?

A számológép szerint ebben a karakterláncban 46 karakter található, ami 13 tokent fog felemészteni. Ha token azonosítókra bontja, akkor valahogy így néz ki:

[2437, 466, 314, 4727, 262, 779, 286, 16326, 287, 24101, 38, 11571, 30]

Mint a OpenAI token kalkulátor:

Hasznos ökölszabály, hogy egy token általában ~4 karakternyi szövegnek felel meg az általános angol szövegben. Ez nagyjából egy szó ¾-ét jelenti (tehát 100 token ~= 75 szó).

Ingyenes vs. Fizetett tokenek

Annak érdekében, hogy ízelítőt adjon a ChatGPT alkalmazás tartalmáról, az OpenAI ingyenes korlátozott token-előfizetést kínál. Ha kísérletezni szeretne a ChatGPT API-val, használja az ingyenes 5 dolláros jóváírást, amely három hónapig érvényes. A korlát kimerülése (vagy a próbaidőszak lejárta) után felosztva fizethet, ami 120 dollárra növeli a maximális kvótát.

ChatGPT Plus: Megéri a fizetős előfizetés?

Ahhoz, hogy egy fokozatot felvegyen, még regisztrálhat a ChatGPT Plus ajánlat, ami havi 20 dollárral jár vissza. Tekintettel a teljes mesterségesintelligencia-modell kiterjedt használatára és népszerűségére, a fizetős előfizetéses modell legfontosabb jellemzői:

• Hozzáférés a ChatGPT-hez, még akkor is, ha a webhely leállást tapasztal a felhasználók beáramlása miatt
• Javított válaszadási arány
• Első kézből hozzáférhet az új funkciókhoz és kiadásokhoz

Ha úgy érzed, hogy ezek a szolgáltatások teljesen megérik, és feledkezhetsz meg, regisztrálhatsz a fizetős előfizetésre, és azonnal élvezheted őket.

ChatGPT token árképzési struktúra

Számos különböző alkalmazási modell áll rendelkezésre, amelyeket igényei szerint választhat:

Az Ada a leggyorsabb, míg a DaVinci a legerősebb modell ebből a modelllistából. A prompt a kérdés, míg a befejezés a válaszokkal foglalkozik.

Maximális token limitek

Minden modell lehetővé teszi a tokenek maximális számának beállítását az egyes lekérdezéseken belül. Ez a módszer szabályozza az alkalmazás által egyetlen hívás során generált tokenek maximális számát, korlátozva a kimenetet. A max_token funkció nagyon hasznos, különösen akkor, ha szabályozni szeretné a kimenet hosszát, miközben elkerüli a tokenhasználat és a kreditek túlzott használatát. Az alapértelmezett hossza 2048 token, míg a maximális hossza 4096 token.

A token használatának korlátozása rövid válaszokat eredményezhet, ami korlátozhatja a kimenetet és ronthatja a használati élményt.

A ChatGPT3 felső határa 4096; a ChatGPT4 bevezetésével azonban a token limitek megemelkednek, az alábbiak szerint:

Ha a kimenet csonkolt, növelnie kell a megadott maximális korlátot az irányítópulton. Ne feledje, hogy a prompt és a maximális tokenek összegének mindig kisebbnek kell lennie, mint a modell maximális token-korlátja.

Például a ChatGPT modellen belül a prompt_tokens + max_tokens <= 4096 tokenek.

Tanulja meg kezelni ChatGPT-kéréseit a legjobb eredmények érdekében

Nem számít, hogyan használja a mesterséges intelligencia által vezérelt alkalmazást, nagy eséllyel ki kell találnia a módját, hogy okosan játsszon kérdéseivel és kifejezéseivel. A használati szokásoktól függően valószínűleg minden feladathoz széles körben fogja használni a ChatGPT-t.

A legjobb eredmények elérése érdekében meg kell tanulnia a token módszertannal dolgozni, és fejlesztenie kell készségeit annak érdekében, hogy a használati korlátok változatlanok maradjanak, miközben a lehető legjobb válaszokat adják.