Aggódsz amiatt, hogy a mesterséges intelligencia chatbotjai tartalmat keresnek a webhelyeden? Szerencsére megakadályozhatja, hogy ezt megtegyék. Itt van, hogyan.
A dolgok jelenlegi állása szerint a mesterséges intelligencia csevegőbotjai ingyenes licenccel rendelkeznek, hogy lekaparják webhelyét, és az Ön engedélye nélkül felhasználják annak tartalmát. Aggódsz amiatt, hogy az ilyen eszközök kikaparják a tartalmadat?
A jó hír az, hogy megakadályozhatja, hogy az AI-eszközök hozzáférjenek webhelyéhez, de van néhány figyelmeztetés. Itt megmutatjuk, hogyan blokkolhatja a robotokat a robots.txt fájl használatával, valamint ennek előnyeit és hátrányait.
Hogyan érhetik el az AI chatbotok az Ön webtartalmát?
Az AI chatbotokat több adatkészlet segítségével képezik, amelyek közül néhány nyílt forráskódú és nyilvánosan elérhető. Például a GPT3 oktatása öt adatkészlet felhasználásával történt az OpenAI által publikált kutatási cikk:
- Common Crawl (60%-os súly edzés közben)
- WebText2 (22%-os súly edzés közben)
- Könyvek1 (8%-os súly edzés közben)
- Könyvek2 (8%-os súly edzés közben)
- Wikipédia (3% súly edzés közben)
Közös feltérképezés petabájtnyi (ezer TB) adatot tartalmaz a webhelyekről 2008 óta gyűjtöttünk, hasonlóan ahhoz, ahogy a Google keresőalgoritmusa feltérképezi a webes tartalmat. A WebText2 az OpenAI által létrehozott adatkészlet, amely nagyjából 45 millió olyan weboldalt tartalmaz, amelyekre a Reddit-bejegyzésekből legalább három pozitív szavazattal hivatkoztak.
Tehát a ChatGPT esetében az AI bot nem éri el és nem térképezi fel közvetlenül az Ön weboldalait – egyébként még nem. Bár az OpenAI-é a ChatGPT által üzemeltetett webböngésző bejelentése aggodalmát fejezte ki amiatt, hogy ez hamarosan megváltozhat.
Addig is a webhelytulajdonosoknak érdemes figyelniük a többi mesterséges intelligencia chatbotot is, mivel egyre több kerül a piacra. Bard a másik nagy név a területen, és nagyon keveset tudunk róla a betanítására használt adatkészletek. Nyilvánvalóan tudjuk, hogy a Google keresőrobotjai folyamatosan mászzák a weboldalakat, de ez nem feltétlenül jelenti azt, hogy a Bard hozzáfér ugyanazokhoz az adatokhoz.
Miért aggódnak egyes webhely-tulajdonosok?
A webhelytulajdonosok számára a legnagyobb gond az, hogy az olyan mesterséges intelligencia-botok, mint a ChatGPT, a Bard és a Bing Chat, leértékelik a tartalmukat. Az AI-botok a meglévő tartalmakat használják fel a válaszok generálására, de csökkentik a felhasználóknak az eredeti forráshoz való hozzáférését is. Ahelyett, hogy a felhasználók webhelyeket keresnének fel információk elérése érdekében, egyszerűen megkérhetik a Google-t vagy a Binget, hogy összefoglalja a szükséges információkat.
Ha a keresésben használt mesterséges intelligencia chatbotokról van szó, a webhelytulajdonosok legnagyobb gondja a forgalom elvesztése. Bard esetében az AI bot ritkán tartalmaz idézeteket generatív válaszaiban, megmondja a felhasználóknak, hogy mely oldalakról szerzi az információkat.
Tehát amellett, hogy a webhelylátogatásokat mesterséges intelligencia-válaszokkal helyettesíti, a Bard szinte minden esélyét eltávolítja annak, hogy a forráswebhely forgalmat kapjon – még akkor is, ha a felhasználó több információt szeretne. A Bing Chat viszont gyakrabban hivatkozik információforrásokra.
Más szóval, a generatív AI-eszközök jelenlegi flottája az tartalomkészítők munkáját felhasználva a tartalomkészítők iránti igény szisztematikus helyettesítésére. Végül meg kell kérdezni milyen ösztönzést hagy ez a webhelytulajdonosoknak a tartalom közzétételének folytatásához. És tágabb értelemben, mi történik az AI-botokkal, amikor a webhelyek leállítják a tartalom közzétételét, amelynek működéséhez támaszkodnak?
Hogyan lehet blokkolni az AI-botokat a webhelyéről
Ha nem szeretné, hogy mesterséges intelligenciarobotok használhassák az Ön webtartalmát, a segítségével letilthatja, hogy hozzáférjenek webhelyéhez robots.txt fájlt. Sajnos minden egyes botot le kell tiltania, és név szerint kell megadnia.
Például a Common Crawl robotját CCBotnak hívják, és letilthatja, ha hozzáadja a következő kódot a robots.txt fájlhoz:
Felhasználói ügynök: CCBot
Letiltás: /Ez megakadályozza, hogy a Common Crawl a jövőben feltérképezze webhelyét, de nem távolítja el a korábbi feltérképezésekből már gyűjtött adatokat.
Ha aggódik amiatt, hogy a ChatGPT új beépülő moduljai hozzáférnek az Ön webtartalmához, az OpenAI már közzétette utasításokat a bot blokkolásához. Ebben az esetben a ChatGPT robotját ChatGPT-Usernek hívják, és letilthatja, ha hozzáadja a következő kódot a robots.txt fájlhoz:
User-agent: ChatGPT-User
Letiltás: /Egy másik probléma azonban, hogy a keresőmotorok mesterséges intelligenciarobotjai blokkolják a tartalom feltérképezését. Mivel a Google nagyon titkolózik az általa használt edzési adatokkal kapcsolatban, lehetetlen azonosítani, hogy mely robotokat kell blokkolnia, és hogy azok tiszteletben tartják-e a parancsokat robots.txt fájlt (sok bejáró nem).
Mennyire hatékony ez a módszer?
Az AI-botok blokkolása robots.txt fájl a jelenleg elérhető leghatékonyabb módszer, de nem különösebben megbízható.
Az első probléma az, hogy minden blokkolni kívánt botot meg kell adni, de ki tudja nyomon követni az összes piacra kerülő AI-botot? A következő probléma az, hogy a parancsokat az Ön robots.txt fájl nem kötelező utasítások. Míg a Common Crawl, a ChatGPT és sok más bot tiszteletben tartja ezeket a parancsokat, sok bot nem.
A másik nagy figyelmeztetés az, hogy csak az AI-botokat blokkolhatja a jövőbeni feltérképezések végrehajtásában. Nem távolíthatja el a korábbi feltérképezésekből származó adatokat, és nem küldhet kérelmet olyan vállalatoknak, mint az OpenAI, hogy töröljék az összes adatot.
Sajnos nincs egyszerű módja annak, hogy megakadályozzuk az összes AI-bot hozzáférését a webhelyéhez, és az egyes robotok manuális blokkolása szinte lehetetlen. Még ha lépést is tart az interneten barangoló legújabb AI-botokkal, nincs garancia arra, hogy mindegyik betartja a parancsokat robots.txt fájlt.
Az igazi kérdés itt az, hogy az eredmények megérik-e a fáradságot, és a rövid válasz (majdnem biztosan) nem.
Lehetséges hátrányai is vannak annak, ha blokkolja az AI-botokat a webhelyéről. Leginkább az, hogy nem tud majd érdemi adatokat gyűjteni annak bizonyítására, hogy az olyan eszközök, mint a Bard, hasznot húznak-e vagy ártanak-e a keresési marketingstratégiának.
Igen, feltételezheti, hogy az idézetek hiánya káros, de csak találgat, ha hiányoznak az adatok, mert blokkolta az AI-botokat a tartalom elérésében. Hasonló történet volt, amikor a Google először bemutatta kiemelt kivonatok keresni.
Releváns lekérdezések esetén a Google megjelenít egy részletet a weboldalakról az eredményoldalon, megválaszolva a felhasználó kérdését. Ez azt jelenti, hogy a felhasználóknak nem kell egy webhelyre kattintaniuk, hogy megkapják a keresett választ. Ez pánikot keltett a webhelytulajdonosok és a keresőoptimalizálási szakértők körében, akik a keresési lekérdezésekből származó forgalom generálásában bíznak.
A kiemelt kivonatokat kiváltó lekérdezések azonban általában alacsony értékű keresések, például „mi van X” vagy „milyen az időjárás New Yorkban”. Aki alapos információra vagy átfogó időjárás-jelentésre vágyik, az továbbra is átkattint, aki pedig nem, az eleve nem volt ennyire értékes.
Lehet, hogy hasonló történetről van szó a generatív AI-eszközökkel kapcsolatban, de szükség lesz az adatokra a bizonyításhoz.
Ne rohanjon bele semmibe
A webhelyek tulajdonosai és kiadói érthető módon aggódnak a mesterséges intelligencia technológiája miatt, és frusztrálják az ötlet, hogy a botok azonnali válaszok generálására használják fel tartalmukat. Ez azonban nem az ideje, hogy rohanjunk ellentámadásba. Az AI technológia gyorsan fejlődő terület, és a dolgok továbbra is gyors ütemben fognak fejlődni. Használja ki ezt az alkalmat, és nézze meg, hogyan alakulnak a dolgok, és elemezze az AI által kínált lehetséges fenyegetéseket és lehetőségeket.
A jelenlegi rendszer, amely a tartalomkészítők munkájára támaszkodik, hogy helyettesítse őket, nem fenntartható. Akár az olyan cégek, mint a Google és az OpenAI változtatnak a megközelítésükön, akár a kormányok új szabályozást vezetnek be, valamit adnia kell. Ugyanakkor egyre nyilvánvalóbbá válik az AI chatbotok negatív hatása a tartalomkészítésre, amit a weboldaltulajdonosok és a tartalomkészítők előnyükre fordíthatnak.
