Mi az OpenAI Jukebox és mit lehet vele kezdeni?

A generatív AI lassan elterjed a kreatív ipar egyre több tudományágára. Az AI art generátorokkal indult, majd átterjedt a mesterséges intelligencia által generált szöveggel történő írásba. Most hozzáadhatunk zenét ehhez a listához.

A közeljövőben a mesterséges intelligencia által generált, a semmiből született zene valósággá válik. Valójában ez már lehetséges a Jukeboxnál, az OpenAI zenekészítő mesterséges intelligencia modelljénél. Könnyen használható alkalmazásban még nem érhető el, és még nem is hangzik elég jól, de az algoritmikus csontok megvannak.

Íme, mit kell tudni az OpenAI Jukeboxról és arról, hogy mit tehetsz vele.

Jukebox: AI, amely zenét nyers hangként generál

A Jukebox egy neurális háló, amely nyers audio formában tud zenét generálni, ha megadja a műfajt, az előadót vagy a dalszövegeket. 2020 áprilisában adta ki az OpenAI, ugyanaz a cég, amely elhozta nekünk a Dall-E nevű AI art generátort és a ChatGPT nevű AI chatbotot.

Ellentétben a Dall-E-vel, amely gyorsan elterjedt az egész világon, és a mesterséges intelligencia a hírek és a média lázas témájává tette, a Jukebox megjelenése után nem keltett nagy érdeklődést. Ennek egyik oka, hogy nem rendelkezik felhasználóbarát webalkalmazással – legalábbis még nem.

A kódot megtalálod a OpenAI weboldal, valamint egy mélyreható magyarázatot a kódolási és dekódolási folyamat működéséről.

Egy másik valószínű ok az, hogy ez rendkívül sok időt és számítási teljesítményt igényel. Hogy ötletet adjunk, mindössze egy percnyi hanganyag megjelenítése akár 9 órát is igénybe vehet. Hajlandóságra lesz szüksége, hogy felfedezze a modellt a kód formájában, valamint sok türelemre van szüksége, ha látni szeretné, hogy egy AI-modell mire képes zenét generálni.

Vagy ugorhat a Jukebox Sample Explorer. Az OpenAI itt tette közzé kísérleteit Ella Fitzgerald vagy 2Pac hasonló dalainak generálásával.

Hogy világos legyen, egyéb AI zenei eszközök léteznek, hogy segítsenek létrehozni egy dalt, de nem generálnak hangot a semmiből. Ehelyett vagy előre felvett mintákat kombinálnak, vagy MIDI információkat hoznak létre, amelyeket egy digitális szintetizátoron keresztül visznek át.

Milyen a Jukebox hangzása?

A Jukebox eredményei felismerhetőek, de furcsaak. Nem nehéz megérteni a dal formáját és a hozzá tartozó műfajt, hanem az eredmények minőségét olyan hangzást ad, mintha a legkorábbi felvett zenék valamelyikét hallgatnád: azaz rengeteg zaj.

Nyugodtan kijelenthető, hogy a Jukebox nem produkál olyan nagy hangminőségű hangzást, amelyet egy jó fejhallgató hallana. Ez inkább hasonlít egy olyan rádióállomás zenéjének hallgatásához, amely nincs teljesen a megfelelő frekvenciára hangolva. Egyes dalok újrakiadásai, míg mások a meglévő dalok folytatásai. Van egy kategória az újszerű művészek és stílusok, valamint a nem látott dalszövegek számára.

A hangminőség ellenére a korai kísérletezők leírják, hogy lenyűgözi őket a Jukebox által készített zene hátborzongató szépsége és bizarr természete. „Mint egy filmzene egy ismeretlen országról, ismeretlen kultúráról” – írja Merzmench közepesen.

Jelenleg az eredmények messze nem elég jók ahhoz, hogy lemásolják, vagy akár le is cseréljék az emberek által létrehozott zenét, de a a technológia gyorsan fejlődik, és hamarosan az olyan modellek, mint a Jukebox, képesek lesznek elérni ezeket a bravúrokat is.

Hogyan képezték ki az OpenAI Jukeboxot?

A Jukebox olyan zenét tud létrehozni, amilyen korábban soha nem létezett, az az, hogy valódi zenészek zenéire tanítják. Az OpenAI elmagyarázza, hogy:

"A modell betanításához feltérképeztük az internetet, hogy összeállítsunk egy 1,2 millió dalból álló új adatkészletet (ebből 600 000 angol nyelvű), párosítva a LyricWiki megfelelő szövegeivel és metaadataival."

Az adatok feltérképezése egy olyan gyakorlat, amelyet egyes mesterséges intelligencia-cégek használnak olyan adatkészlet létrehozására, amelyből egy AI-modell tanulhat, és döntéseket hozhat kép, szöveg vagy ebben az esetben zene generálásakor. A feltérképezéssel létrehozott adatkészletek ellentmondásosak, mivel a beleegyezés először nem az adatok tulajdonosaitól származik. Bár egyes platformok ezt lehetővé teszik letilthatja a tartalmat az adatkészletekből.

Azt gondolhatnánk, hogy 1,2 millió dal sok, de ehhez képest a Dall-E 2-t több száz millió kép-szöveg páron képezték ki az internetről. Ezt szem előtt tartva a Jukeboxnak megvannak a korlátai.

Viszonylag kicsi oktatómedencéje nem képes megragadni az emberi zene gazdagságát és sokszínűségét. Az OpenAI kijelentette, hogy nagyrészt a nyugati zenére oktatják, ami egyértelmű torzítást jelent abban, hogy milyen zenét tud generálni.

Mit lehet csinálni a Jukebox-szal?

Tehát, a korlátait szem előtt tartva, mit tehet a Jukebox-szal? A kérdés megválaszolásának gyors módja az, hogy elmondja, mit nem tehet meg a Jukebox-szal.

Mivel közel fél napba telik egy perc zene megjelenítése, ez nem túl hasznos zenei előállításhoz. Legalábbis nem a hagyományos értelemben. Általában a zenészek oda-vissza mozognak a hangszeren való játék (improvizáció) és a dal szerkezetének megtervezése között. Ugyanez a fajta kísérletezés nem lehetséges a Jukebox-szal.

Mivel ebben a szakaszban nem könnyű dalt készíteni a Jukebox segítségével, inkább úgy tekinthet rá, mint egy újszerű módszerre a zenei minták generálására. Miután létrehozta az Önnek tetsző hanganyagot, a szokásos módon felhasználhatja kreatív projektjeiben.

Az alábbi videó annak az eredménye, hogy valaki a Jukebox segítségével készített zenét használja egy rövid montázsvideó aláfestésére.

A mesterséges intelligenciának a kreatív alkalmazásokon kívül is sokféle alkalmazása van, ezért megéri megérteni, hogy mi az AI és milyen veszélyeket jelent.

Megmozgat az AI Music?

A Jukebox által generált zenét nem könnyű elvetni, és minden furcsasága és hátborzongató, ember-gép minősége ellenére végül úgy hangzik, mint a zene. Míg a zeneipar már egy ideje mesterséges intelligencia eszközöket használ, a zene nyers hangként való előállításának lehetősége csak most vált valósággá.

De bár az olyan modellek, mint a Jukebox léteznek, még nem csomagolták be őket kereskedelmi eszközbe, és még mindig elmaradnak az emberi zenészek képességeitől.