A nagy nyelvű modellek (LLM) minden formában és méretben kaphatók, és bármilyen módon segítenek Önnek. De melyik a legjobb? Teszteltük az Alphabet, az OpenAI és a Meta domináns AI-it.
Amit az AI Chatbotokról tudni kell
Az általános mesterséges intelligencia évtizedek óta az informatikusok célja, és a mesterséges intelligencia még hosszabb ideig a tudományos-fantasztikus írók és filmesek támasza.
Az AGI az emberi kognitív képességekhez hasonló intelligenciát mutat, és a Turing-teszt– a gép azon képességének próbája, hogy képes-e az embertől megkülönböztethetetlen intelligens viselkedést tanúsítani – szinte vitathatatlan maradt az első elkészítése óta eltelt hét évtizedben.
A rendkívül nagyszabású számítástechnika, a hatalmas pénzmennyiségek és a szabadon elképesztő mennyiségű információ közelmúltbeli konvergenciája A nyílt interneten elérhető technológia lehetővé tette a technológiai óriások számára, hogy olyan modelleket képezzenek, amelyek képesek megjósolni a következő szószakaszt – vagy tokent – tokenek.
Az írás idején mindkettő A Google Bardja és OpenAI ChatGPT webes felületükön keresztül használható és tesztelhető.
A Meta nyelvi modellje, a LLaMa nem elérhető az interneten, de könnyen megteheti töltse le és futtassa a LLaMa-t a saját hardverén és parancssoron keresztül használja, ill fuss Dalai-t a saját gépeden-egy a számos felhasználóbarát felülettel rendelkező alkalmazás közül.
A teszt céljaira a Stanford Egyetem Alpaca 7B modelljét futtatjuk – a LLaMa adaptációját –, és összevetjük a Barddal és a ChatGPT-vel.
A következő összehasonlítások és tesztek nem teljes körűek, hanem inkább a kulcsfontosságú pontokról és képességekről adnak tájékoztatást.
Melyik a legkönnyebben használható nagy nyelvű modell?
A Bard és a ChatGPT is fiókot igényel a szolgáltatás használatához. Mind a Google-, mind az OpenAI-fiókok könnyen és ingyenesen hozhatók létre, és azonnal elkezdhet kérdéseket feltenni.
A LLaMa helyi futtatásához azonban speciális ismeretekkel vagy egy oktatóanyag követésének képességével kell rendelkeznie. Ezenkívül jelentős mennyiségű tárhelyre lesz szüksége.
Melyik a leginkább privát nagynyelvi modell?
Mind a Bard, mind a ChatGPT kiterjedt adatvédelmi szabályzattal rendelkezik, és a Google ezt többször is hangsúlyozza dokumentumaiban hogy „ne szerepeltessen olyan információkat, amelyek segítségével Ön vagy mások azonosíthatók a Bardjában beszélgetések."
Alapértelmezés szerint a Google az Ön IP-címe, visszajelzései és használati adatai alapján gyűjti a beszélgetéseit és az Ön általános tartózkodási helyét. Ezeket az információkat legfeljebb 18 hónapig tároljuk Google-fiókjában. Bár szüneteltetheti a Bard-tevékenységek mentését, tisztában kell lennie azzal, hogy "a minőség elősegítése és termékeink fejlesztése érdekében az emberi lektorok elolvassák, megjegyzésekkel látják el és feldolgozzák a Bard-beszélgetéseket."
A Bard használatára szintén a szabvány vonatkozik Google adatvédelmi irányelvek.
Az OpenAI adatvédelmi szabályzata nagyjából hasonló, és IP-címeket és használati adatokat gyűjt. Ellentétben a Google korlátozott ideig tartó megőrzésével, az OpenAI „csak addig őrzi meg az Ön személyes adatait, ameddig szükséges ahhoz, hogy az Ön számára nyújtott szolgáltatás, vagy más törvényes üzleti célokra, például viták megoldására, biztonsági és biztonsági okokból vagy jogi előírásaink betartása érdekében. kötelezettségek."
Ezzel szemben a saját gépen lévő helyi modellhez nincs szükség fiókra, és nincs szükség felhasználói adatok megosztására senkivel.
Melyik LLM rendelkezik a legjobb általános tudással?
Három kérdést tettünk fel annak tesztelésére, hogy melyik LLM rendelkezik a legjobb általános ismeretekkel.
Az első kérdés: "Melyik nemzeti zászlónak van öt oldala?" csak Bard válaszolt helyesen, és azonosította Nepál nemzeti lobogójának öt oldalát.
A ChatGPT magabiztosan azt állította, hogy "Nincs olyan nemzeti zászló, amelynek öt oldala lenne. A nemzeti zászlók jellemzően téglalap vagy négyzet alakúak, amelyeket megkülönböztető színeik, mintáik és szimbólumaik jellemeznek.
Helyi modellünk közel állt hozzá, és kijelentette, hogy "Az indiai nemzeti zászlónak öt oldala van, és 1916-ban tervezték, hogy India képviselje. Függetlenségi Mozgalom." Noha ez a zászló létezett, és öt oldala volt, az Indiai Otthoni Uralom Mozgalom zászlaja volt – nem Nemzeti zászló.
Egyik modellünk sem tudott válaszolni arra, hogy a borsó alakú objektum megfelelő kifejezése a "pisiform" a ChatGPT mellett amennyire azt sugallja, hogy a borsó "háromdimenziós geometriai alakja tökéletesen kerek és szimmetrikus."
Mindhárom chatbot helyesen azonosította Franco Malerbát, mint egy olasz űrhajóst és a szervezet tagja Az Európai Parlament, és Bard a Malerba Wikipédiájának egy részével megegyezően megfogalmazott választ adott belépés.
Melyik LLM jó a műszaki utasításokhoz?
Ha technikai problémái vannak, kísértést érezhet, hogy chatbothoz forduljon segítségért. Miközben a technológia halad, néhány dolog változatlan marad. A BS 1363 elektromos csatlakozót 1947 óta használják Nagy-Britanniában, Írországban és sok más országban. Megkérdeztük a nyelvi modelleket, hogyan kell helyesen bekötni.
A dugóhoz csatlakozó kábelek feszültség alatt álló vezetékkel (barna), földelő vezetékkel (sárga/zöld) és nulla vezetékkel (kék) rendelkeznek. Ezeket a megfelelő kapcsokhoz kell rögzíteni a dugaszházon belül.
Dalai implementációnk helyesen azonosította a csatlakozót "angol stílusúként", majd eltért az iránytól, és ehelyett a régebbi, kerek tűs BS 546 dugóhoz adott utasításokat a régebbi bekötési színekkel együtt.
A ChatGPT valamivel hasznosabb volt. Helyesen címkézte fel a vezetékek színét, és adott egy anyaglistát és egy nyolc utasítást. A ChatGPT azt is javasolta, hogy a barna vezetéket helyezze az „L” feliratú terminálba, a kék vezetéket pedig az „N”-be. terminál, és a sárga vezetéket az "E." Ez akkor lenne helyes, ha a BS1363 terminálokat felcímkéznék, de azok nem azok.
Bard azonosította a megfelelő színeket a vezetékekhez, és utasított bennünket, hogy kössük össze őket élő, semleges és földelt csatlakozókkal. Nem adott utasítást ezek azonosítására.
Véleményünk szerint. egyik chatbot sem adott elegendő utasítást ahhoz, hogy segítsen valakinek megfelelően bekötni egy BS 1363 elektromos csatlakozót. A tömör és helyes válasz a következő lenne: "Kék a bal oldalon, barna a jobb oldalon."
Melyik LLM alkalmas kódírásra?
A Python egy hasznos programozási nyelv amely a legtöbb modern platformon fut. A Python használatára utasítottuk modelljeinket, és „Készítsen egy alapvető számolóprogramot, amely képes olyan számtani műveleteket végrehajtani, mint az összeadás, kivonás, szorzás és osztás. Felhasználói bevitelt igényel, és megjeleníti az eredményt." Ez az egyik legjobb programozási projektek kezdőknek.
Bár mind a Bard, mind a ChatGPT azonnal használható és alaposan kommentált kódot adott vissza, amelyet tudtunk tesztelni és ellenőrizni, a helyi modellünkből származó kódok egyike sem futott.
Melyik LLM meséli a legjobb vicceket?
A humor az emberi lét egyik alapja, és minden bizonnyal az egyik legjobb módja az ember és a gép megkülönböztetésének. Mindegyik modellünknek az egyszerű felszólítást adtuk: "Készítsen eredeti és vicces viccet."
Szerencsére a humoristák és általában az emberi faj számára egyik modell sem volt képes eredeti viccet generálni.
Bard bemutatta a klasszikust: „Miért nyert díjat a madárijesztő? Kiemelkedő volt a maga területén."
Mind a helyi implementációnk, mind a ChatGPT felajánlotta a nyögdécselőt: „Miért nem bíznak a tudósok az atomokban? Mert ők alkotnak mindent!"
A származékos, de eredeti vicc a következő lenne: "Hogyan hasonlítanak a nagy nyelvi modellek az atomokhoz? Mindketten kitalálják a dolgokat!"
Először itt olvassátok el, emberek.
Egyetlen Chatbot sem tökéletes
Megállapítottuk, hogy bár mindhárom nagy nyelvi modellnek megvannak a maga előnyei és hátrányai, egyik sem helyettesítheti az emberi lény valódi szakértelmét speciális tudással.
Bár a Bard és a ChatGPT is jobb választ adott a kódolási kérdésünkre, és nagyon könnyen használhatóak, egy nagy nyelvi modell helyi futtatása azt jelenti, hogy nem kell aggódnia az adatvédelem vagy cenzúra.
Ha nagyszerű mesterséges intelligencia művészetet szeretne létrehozni anélkül, hogy attól kellene tartania, hogy valaki a válla fölött átnéz, könnyen futtathat egy art AI-modellt a helyi gépén is.