Nagy nyelvi modell futtatása Linuxon (és miért érdemes)

A nagy nyelvi modellek forradalmasíthatják az élet- és munkamódszereket, és változó pontossággal képesek beszélgetéseket folytatni és kérdésekre válaszolni.

Az egyik használatához általában egy LLM-szolgáltató fiókra van szüksége, és egy webhelyen vagy dedikált alkalmazáson keresztül kell bejelentkeznie. De tudta-e, hogy saját nagy nyelvi modelljét teljesen offline is futtathatja Linuxon?

Miért futtasson nagy nyelvű modellt Linuxon?

A nagy nyelvi modellek (LLM-ek) manapság mindenhol jelen vannak, és képesek feldolgozni a természetes nyelvet, és megfelelő válaszokat adnak, amelyek azt hihetik, hogy egy ember válaszolt. A Microsoft a Bing új, AI-alapú verzióját vezeti be, míg az ábécé A Bard mára a Google kereséseinek szerves része.

A keresőmotoroktól távol az úgynevezett "AI chatbotok" segítségével válaszolhat kérdésekre, verseket írhat, vagy akár házi feladatot is elkészíthet helyette.

De az LLM-ekhez online hozzáféréssel egy harmadik fél szolgáltató jóindulatától függ – amely bármikor visszavonható.

Használati korlátozások is vonatkoznak rád. Kérd meg az OpenAI-t, hogy írjon például egy 6000 szavas erotikus novellát, amely a náci Németországban játszódik, és a következőképpen fog válaszolni: "Elnézést kérek, de nem fogom tudni generálni ezt a történetet."

Bármit, amit az online LLM-eknek ad meg, továbbképzésükre használjuk fel, és az esetlegesen bizalmasan kezelendő adatokat a jövőben valaki más kérdésére adott válasz részeként kiköphetjük.

Ön is ki van téve a szolgáltatás hiányának, mivel a rendszert elárasztják a felhasználók, és előfizetésre van szükség, így nagy kereslet esetén hozzáférhet a platformhoz.

A Dalai a Meta's LLaMa LLM és a Stanford's Alpaca ingyenes és nyílt forráskódú megvalósítása. Szerény hardveren kényelmesen fut, és praktikus webes felületet és számos prompt sablont biztosít – így bármit kérdezhet anélkül, hogy félne attól, hogy egy adminisztrátor bezárja a fiókját, az LLM megtagadja a választ, vagy az Ön kapcsolata csepp.

Amikor helyileg telepít egy LLM-et Linuxra, az a tiéd, és tetszés szerint használhatja.

Hogyan telepítsük a Dalai-t Linuxra

A Dalai telepítésének legegyszerűbb módja a Docker és a Docker Compose használata. Ha még nem rendelkezik ezekkel, tekintse meg útmutatónkat, hogyan teheti meg telepítse a Dockert és a Docker Compose-t.

Ha ez nincs útban, készen áll a Dalai telepítésére. Klónozza a Dalai GitHub adattárat, és a cd paranccsal lépjen be:

git klón https://github.com/cocktailpeanut/dalai.git && cd dalai

A Dalai webes felülettel való üzembe helyezéséhez először készítse el a Docker Compose fájlt:

docker-compose build

A Docker Compose letölti és telepíti a Python 3.11-et, a Node Version Managert (NVM) és a Node.js-t.

A kilencből hetedik szakaszban a build lefagyni fog, ahogy a Docker Compose letölti a Dalait. Ne aggódjon: ellenőrizze a sávszélesség-használatot, hogy megnyugtassa magát, hogy valami történik, és szimulálja a virtuális organizmusok fejlődését a terminálján amíg vársz.

Végül visszakerül a parancssorba.

A Dalai és a LLaMa/Alpaca modellek sok memóriát igényelnek a futtatáshoz. Bár nincs hivatalos specifikáció, egy jó hozzávetőleges útmutatás 4 GB a 7B modellhez, 8 GB a 13B modellhez, 16 GB a 30B modellhez és 32 GB a 65B modellhez.

Az Alpaca modellek viszonylag kicsik, a 13B modell eléri a szerény 7,6 GB-ot, de a LLaMA tömegei hatalmasak lehetnek: az egyenértékű 13B-s letöltés 60,21 GB-os, a 65B-s modell pedig egy epikus fél terabájtot foglal el a merevlemezen korong.

Döntse el, hogy melyik modell felel meg leginkább erőforrásainak, és használja a következő parancsot a telepítéshez:

docker-compose futtatása dalai npx dalai alpaca install 13B

Vagy:

docker-compose futtatása dalai npx dalai láma install 13B

Fennáll az esély, hogy a Dalai-n keresztül letöltött modellek megsérülnek. Ha ez a helyzet, ragadd meg őket Átölelő Arc helyette.

Miután visszatért a parancssorhoz, indítsa el a Docker Compose alkalmazást leválasztott módban:

docker-compose up -d

Ellenőrizze, hogy a tartály megfelelően működik-e a következőkkel:

dokkoló-kompozíció ps

Ha minden úgy működik, ahogy kell, nyisson meg egy webböngészőt, és lépjen be helyi házigazda: 3000 a címsávban.

Jó szórakozást a saját nagy nyelvű modelljéhez Linuxon

Amikor megnyílik a webes felület, megjelenik egy szövegdoboz, amelybe beírhatja a promptokat.

Hatékony felszólításokat írni nehéz, és a Dalai fejlesztők segítőkészen rendelkezésre bocsátottak egy sor sablont, amelyek segítenek hasznos választ kapni Dalaitól.

Ezek AI-párbeszéd, Chatbot, Alapértelmezett, Utasítás, Újraírni, fordít, és Tweet-hangulat.

Ahogy az várható volt, a AI-párbeszéd és Chatbot A sablonok olyan szerkezetűek, amelyek lehetővé teszik, hogy egyfajta beszélgetést folytasson az LLM-mel. A fő különbség a kettő között az, hogy a chatbotnak "nagyon intelligensnek" kell lennie, míg az AI-Dialognak "segítőkész, kedves, engedelmes, őszinte és ismeri a saját határait".

Természetesen ez a te "AI", és ha tetszik, módosíthatod a promptot, hogy a chatbot buta legyen, és az AI-párbeszéd jellemzői "szadisták" és "hasztalanok". Tőled függ.

Kipróbáltuk a fordít funkciót úgy, hogy lemásolja a BBC hírének kezdő bekezdését, és megkéri Dalait, hogy fordítsa le spanyolra. A fordítás jó volt, és amikor a Google Fordítón keresztül lefuttattuk, hogy visszafordítsuk angolra, azt találtuk, hogy elég olvasható, és visszhangozza az eredeti darab tényeit és érzéseit.

Hasonlóképpen a Újraírni sablon meggyőzően pörgette a szöveget egy új cikk nyitányává.

A Alapértelmezett és Utasítás az utasítások úgy vannak felépítve, hogy segítsenek kérdéseket feltenni vagy közvetlenül utasítani Dalait.

Dalai válaszának pontossága nagymértékben változhat attól függően, hogy milyen modellt használ. A 30B modell sokkal hasznosabb lesz, mint a 7B modell. De még ekkor is eszébe jut, hogy az LLM-ek egyszerűen kifinomult rendszerek a mondat következő szójának kitalálására.

Sem a 7B, sem a 13B Alpaca modellek nem tudtak pontos, 200 szavas összefoglalót adni a „Cat in the novella” című novelláról. Eső" Ernest Hemingwaytől, és mindkettő teljesen meggyőző cselekményvonalat és részleteket alkotott meg a történetről. tartalmazott.

És miközben a "segítőkész, kedves, engedelmes, őszinte" AI-párbeszéd, amely "ismeri a saját határait", és a "nagyon intelligens" Chatbot ellenszegül ellentmondásos felszólítások esetén megadhat Dalainak egy egyenes utasítást vagy az alapértelmezett kérést, és azt ír, amit szeretne – ahogy tetszik azt.

Az Öné egy nagy nyelvű modell Linux gépén

Ha egy nagy nyelvi modellt futtat saját Linux-dobozán, akkor nem vonatkozik Önre a felügyelet vagy a szolgáltatás visszavonása. Használhatja úgy, ahogy jónak látja, anélkül, hogy félne a vállalati tartalomra vonatkozó irányelvek megszegésének következményeitől.

Ha kevés a számítási erőforrás, akár helyi szinten is futtathat egy LLM-et egy szerény Raspberry Pi-n.