Készítsen saját "neurális festményeket" a DeepStyle & Ubuntu segítségével

Hirdetés

A neurális hálózatok sok mindent megtehetnek. Értelmezni tudják a képeket, értsd meg a hangunkat 6 Google Now szolgáltatás, amely megváltoztatja a keresési módot Lehet, hogy már használja a Google Asszisztenst Android-eszközén, de mindent megszerez belőle? Ismerve ezeket a kis funkciókat, nagy változást hozhat. Olvass tovább és fordítások lefordítása Hogyan működik a Skype Star Trek fordítója?A Skype új fordító funkciója a Star Trek óta álmodozott valamit kínál - ez a könnyű kommunikáció a különböző nyelvek között. Olvass tovább . De tudta, hogy képesek is festeni?

Egy nemrégiben készült tanulmány („A művészi stílus neurális algoritmusa“) Online megbeszélések sorozatát indította el néhány feltűnő vizuális példával. Alapvetően a cikk tárgyalja a mély idegi hálózat Microsoft vs Google - Ki vezet a mesterséges intelligencia versenyen?A mesterséges intelligencia kutatói kézzelfogható fejlődést hajtanak végre, és az emberek ismét komolyan beszélnek az AI-ről. A mesterséges intelligencia versenyét vezető két titán a Google és a Microsoft. Olvass tovább

elválasztani a művészi stílust a képi struktúrától, és egyesíteni az egyik kép stílusát a másik szerkezetével. Ennek előnye az, hogy egy hatalmas ideghálózatot kiképezhet, hogy a fényképeket “idegsejtekké” alakítsa festmények ”, amelyek úgy néznek ki, mintha híres művészek festették volna őket -„ digitális hamisítványok ” beszél.

Íme néhány példa a cikkből. Az első kép az eredeti. A későbbi képek az előállított eredmények, és a festmény, amelyből a stílus mintázott, miniatűrként jelenik meg.

Az eredeti kutatók sajnos nem adták ki kódot. Néhány félénk programozó azonban megismételte az eredményeket az elmúlt napokban, és kódjuk elérhető, nyílt forráskódú az interneten. A futtatásához csak egy linux gépre és egy kis türelemre van szüksége.

Ma megmutatom, hogyan kell ezt csinálni, és megmutatom néhány saját eredményem. Gondolhat erre a mi laza folytatásra DeepDream bemutató Készítsen saját álmait a mesterséges lázról a Google "DeepDream" segítségévelLáttad már a DeepDream-ből származó hippi képeket? Szeretné elkészíteni sajátját? Ne keresse tovább! Olvass tovább . Kicsit bonyolult, de bárki, aki rendelkezik Linux gépen, követni tudja - nincs szükség kódolási tapasztalatra.

A Picasso könnyű festményt Picasso stílusú festménnyé alakítottam #DeepStyle! pic.twitter.com/cjkEoIhVcF

- James Blaha (@jamesblaha) 2015. szeptember 5

A szoftver beállítása

Először is, ha nincs nagyon sietett, vagy ha nincs Linux-számítógépe, akkor továbbra is játszhat a DeepStyle-rel a DeepForger Twitter bot (küldjön képet és stílust, és végül válaszol a kívánt eredményekkel). Ha több képet szeretne gyorsan feldolgozni (és jobban ellenőrizni az eredményeket), olvassa el az oktatóanyagot.

Először ellenőrizze, hogy van-e a legfrissebb példánya Ubuntu (14.04 az, amit használtam). Legalább néhány extra koncerttel kell rendelkeznie a merevlemezen. További információkért tekintse meg a következő útmutatót: kettős indítású Ubuntu a Windows mellett Unod már a Windows 8-t? Hogyan lehet kettős rendszerindító Windows és Ubuntu alkalmazást használniHa rájössz, hogy a Windows 8 nem egészen az Ön csésze teája, és nincs ésszerű út a leminősítéshez, érdemes lehet kettős indítás a Linuxkal, ha van egy alternatívája ... Olvass tovább . Szintén root jogosultságokra lesz szüksége, ezért mielőtt folytatná, győződjön meg róla.

Alapvető eszközök

A denevér jobb oldalán ez egy nyílt forráskódú projekt, tehát szeretnénk csoportos it telepítve. Git az aranyszabvány a verziószabályozó szoftverhez Mi a Git és miért kell használni a Verziókezelőt, ha Ön fejlesztő?Mint webfejlesztők, sok időnkben hajlandók vagyunk helyi fejlesztési webhelyeken dolgozni, akkor csak feltölteni mindent, amikor kész. Ez rendben van, ha csak te vagy, és a változások kicsik, ... Olvass tovább . Nagyon sok minden olyan nyílt forráskódú projekt, amelyet érdemes tudni, a Github házigazdája.

A Git letöltéséhez és telepítéséhez nyisson meg egy terminált és írja be a „sudo apt-get install git”És elfogadja a telepítő igényeit.

Következő: megyünk állítson be néhány alapvető eszközt szükséges ahhoz, hogy a szoftver működjön.

Először telepítse Lua. Ez az a nyelv, amelybe az eszköz be van írva. Ez elég egyszerű. Csak gépelj "sudo apt-get install lua5.2”És kövesse a telepítési folyamatot.

Másodszor, meg fogjuk kapni Luarocks. Ez az eszköz megkönnyíti más eszközök telepítését (nem szereted a Linuxot?). Ehhez írja be a „sudo apt-get install luarocks”És kövesse a telepítési lépéseket.

Harmadszor, telepíteni fogjuk Luajit. Ez a Lua számára egy időben elérhető fordító, amely kicsit egyszerűbbé teszi az életünket. Csak gépelj "sudo apt-get install luajit.”

Eddig jó.

Olyan bot vagyok, amely hamisítást készít fotóiból a híres festők stílusában. Kattintson az alábbi utasításokért! pic.twitter.com/3MpThDNwRE

- A mély hamisító (@DeepForger) 2015. szeptember 5

keretek

Ezt követően telepíteni fogjuk Fáklya, egy tudományos számítástechnikai és gépi tanulási keret, amely alkotja az alkalmazás gerincét. Sajnos ezt nem lehet az apt-get (az Ubuntu csomagkezelője) segítségével telepíteni.

Szerencsére van egy egysoros telepítő, amely bizonyos parancssori varázslatokat használ. Térjen vissza termináljára és írja be a „göndör https://raw.githubusercontent.com/torch/ezinstall/master/install-all | bash“.

Ha kész, írja be a „luajit -ltorch“. Ezzel megjelenik a fáklya felülete és ellenőrizhető, hogy minden helyesen lett-e telepítve.

Kilépjen belőle.

Most telepíteni fogjuk loadcaffe - egy neurális hálózatra jellemző csomag. Telepítse az egyetlen függőségét a „sudo apt-get install libprotobuf-dev protobuf-fordító“. Ezután telepítheti maga a csomagot a „sudo luarocks install loadcaffe ".

@Johnicholas A hamisítás bontása, avec stílusa Rembrandt van Rijn Iskola által. #Digitális művészet#StyleNetpic.twitter.com/pf0sZxWkaT

- A mély hamisító (@DeepForger) 2015. szeptember 7

Dupla ellenőrzési függőségek

Végül előzetesen frissítünk néhány dolgot, csak annak érdekében, hogy minden zökkenőmentesen menjen.

Típus "sudo luarocks install image”Annak biztosítása érdekében, hogy a képcsomag naprakész legyen. Ezután írja be a „luarocks install nn”, Amely ugyanezt fogja tenni az nn csomagja esetén.

A Deep Style telepítése

Rendben! Ezen a ponton készen állunk arra, hogy magát a szoftvert telepítsük. A tisztaság érdekében hozzon létre egy új mappát az otthoni könyvtárban ('mkdir DeepStyle'). Ezután írja be, a „cd Deepstyle“. Most írja be:sudo git klón https://github.com/jcjohnson/neural-style.git".

Ezt követően le kell töltenünk a modellt. Készítsen egy csésze kávét vagy valamit, ez eltart egy ideig. Vissza a terminálra, és írja be a „sudo sh models / download_models.sh“. Ezzel hosszú, kifinomult letöltési folyamat indul. Ha engedélyezési hibák miatt nem sikerül, próbáljon meg megadni magának olvasási és írási engedélyeket a megfelelő mappákban a chmod használatával.

@ 44thats44oars megbízta ezt #ProceduralArt#NeuralArt. pic.twitter.com/tbMH7gsvc8

- A mély hamisító (@DeepForger) 2015. szeptember 6

A mély stílus használata

Oké, jó menni. A szoftver használata elég egyszerű.

Győződjön meg róla, hogy a DeepStyle / neurális stílusú könyvtár a terminálon. Most szüksége lesz néhány képre a munkához. Töltse le őket az internetről (vagy bármi másról), majd másolja át a DeepStyle / neurális stílusú mappa a fájl böngészővel.

Most a parancssort használhatja az egyes képek feldolgozására. A formátum nagyon egyszerű:

th neural_style.lua -style_image YOURPAINTINGHERE.jpg - content_image YOURPHOTOHERE.jpg -gpu -1

(Nyilvánvaló, hogy az ÖSSZES KAPCSOLÓBAN lévő darabokat a fájlok nevére kell cserélni).

Ezzel elindul a neurális hálózat. Körülbelül egy órán keresztül fut, majd néhány percenként kiküszöböli az új, részben konvergált képeket, amíg be nem fejeződik. Az -gpu -1 jelző megakadályozza a GPU elérését.

Néhány órás próbálkozás után (és az operációs rendszer többszörös támadása) nem sikerült rávenni az Ubuntut és a CUDA-t, hogy jól játsszanak a GPU-val (NVIDIA GTX 970). Ha több szerencséje van ezzel, telepítenie kell a CUDA-t és a cudann.torch-t (lásd github repo további információért). Ha nem, akkor az rendben van - továbbra is működni fog a CPU-val; csak egy kicsit lassabb lesz.

Ha bármilyen probléma merülne fel mindezen működésével kapcsolatban, kérdezzen tőlem a megjegyzésekben, és minden tőlem telhetőt megteszek, hogy segítsek.

Eredmények

Íme néhány kép, amelyet az elmúlt pár napban készítettem. Az eredmények vegyesek, de sokuk nagyon lenyűgöző.

Kattintson ide a teljes felbontásért.

Ez az egyik barátom, Zack, egy gyalogos kirándulás a Yellowstone-ba. A stílus egy absztrakt festményből származik, amelyet létrehozott Theresa Paden. Kíváncsi voltam, hogy a rendszer hogyan működik egy teljesen felépítetlen kép felhasználásával. Az eredmények meglehetősen ügyesek, és határozottan megláthatjuk a stíluskép hasonlóságait.

Kattintson ide a teljes felbontásért.

Ez az egyik kedvenc művészem, Charles Demuth jóvoltából jött létre (lásd: Egy új templom füstölőjeés 5. ábra arany színben). Érdekes módon a Demuth az egyik legfontosabb vizuális ihlet a művészet számára Team Fortress 2 Team Fortress 2: A szabadon játszható gőzös játék, amelyet meg kell játszaniaA Team Fortress 2 csak egy gyors játék a grafika és a teljesítmény teszteléséhez, vagy olyan játék, amelyet érdemes többször játszani? Olvass tovább , amint az a stílusképről is látható.

Tápláltam neki egy képet Jersey City-ről, amelyet a Wikimedia-on találtam. Az eredmények… nagyon jóak. Nem a Demuth stílusának szöget vette fel, hanem minden bizonnyal a puha, texturált megjelenést és a színpalettát.

Kattintson ide a teljes felbontásért.

Ez egy kísérlet egy szintetikus O'Keeffe előállítására, amely meglehetősen hétköznapi képet tartalmaz néhány talált virágról. Az eredmények őszintén szólva látványosak. Esztétikai szempontból ez az egyik kedvenc eredményem. O'Keeffe színeinek és formáinak gazdagsága világosan megjelenik. A virágszirmok rétegelt szélei a háttérben a levelek széleivé válnak. Maguk a virágok feloldódnak a színekbe, szinte elvontvá válva.

Jó festmény lenne, ha egy ember megcsinálná. Nagyon kísértésem, hogy néhány napot eltöltsem ennek a nagyobb felbontású változatnak a megjelenítésére, és bekeretezzem.

Kattintson ide a teljes felbontásért.

Itt van barátom, Shannon a Halloween jelmezében, egy Picasso-nyomtatás útján. Érdekes, hogy az eszköz arcának alsó részét fehérre festette (hasonlóan a Picasso-darab színelrendezéséhez). Nem tudom, vajon véletlen volt-e ez, vagy sem, de az eredmények feltűnőek. Úgy tűnik továbbá, hogy helyesen azonosította Shannon haját a bal oldalon, és újrarajzolta a stílusban szereplő haj színének és vonalának felhasználásával. Ditto a kalapjáért.

Ez az egyik darab, ahol a technika korlátai egyértelmûvé válnak. Ha Picasso valóban Shannonot festette volna, akkor eldobta volna az arcának szerkezetét, és elvonta a vonásait, hogy elérje a kívánt hatást. Ez a rendszer nem érti az ilyen típusú magas szintű fogalmakat, és csak a stílus felületes aspektusait, például a sötét, szögvonalakat és a színpalettát képes utánozni.

Kattintson ide a teljes felbontásért.

Meglehetősen egyértelmű: az Eiffel-torony és Van Gogh képe Egyéb Csillagos éj. Jó munkát végez azzal, hogy a felhőt Van Gogh-ey stílusban jeleníti meg, annak ellenére, hogy az eredeti képben nincs felhő. Jó munkát végez a jelenet napról-napra történő fordításában is.

Nem voltam biztos benne, miért döntött úgy, hogy a Fiffel-torony hegyét tűzoszlopnak teszi. Jól néz ki, de a bemeneti adatok alapján ez nem igazán igazolható. Aztán rájöttem, hogy a stílusképben tizenhárom hosszú, függőleges sárga csík van benne, a vízben tükröződés formájában. Ez egy nagyon hatalmas klaszter, mivel kevés edzési adat van. A szegény dolog valószínűleg megtanulta, hogy a nagy kontrasztú függőleges éleknek ezen tükrök egyikének kell lenniük. További idegen függőleges csíkokat halványan láthat a felhőkben.

Kattintson ide a teljes felbontásért.

Ugyanaz a Van Gogh-festmény, de ezúttal néhány valódi csillagot festettem. Ebben az esetben a sas-köd oszlopainak része. Szeretem az eredményeket - bár ismét láthatjuk a megszállottságát sárga csíkokkal. Az oszlop minden függőleges része fényes, hullámosan sárga vonallá válik. Ez egyértelműen idegesíti a zöldet is, amely az edzési adatokban nem fordult elő, és mindent megtesz annak érdekében, hogy megszabaduljon tőle a kék és a fekete színeknek.

Technológia

Ennek néhány eredménye rendkívül kényszerítő, bár a technikanak egyértelmű korlátai vannak. Néhány kép összetéveszthetetlen, és a rendszer nehézségekbe ütközik az olyan elvont művészekkel, mint Picasso - akik híresen szerették volna torzítani a tárgyát, szétszórva annak jellemzőit. Az algoritmus felveszi a szögvonalait és az összecsapódó színeket, de továbbra is a kép pixelértékeinek rabszolgája. Nincs olyan megértése, amellyel túlságosan eltérnie kell a forrásanyagtól.

Ami engem izgat, engem nem hiszem, hogy ezek a korlátozások alapvető fontosságúak.

Az itt alkalmazott megközelítés - hálózat képzése az egyik képen, és egy másik felépítéséhez - alapvetően fajta hack. Nagyon kevés adatot szolgáltat a hálózat számára. Az alkalmazás fejlettebb verziója olyan hálózatot használna, amelynek sokról van információ festmények és talán még valódi képek is, hogy rengeteg összefüggést adjon azzal a képpel, amelyet megpróbál "festék."

A stílus mély megértése csak szélesebb összefüggésben létezhet. Nem származtatható egyetlen képből. Az olyan architektúra megtervezése, amely a rendszer számára hozzáférést biztosít a szélesebb adatokhoz, lehetővé teszi, hogy a rendszer többet nyerjen A kép „emberi jellegű” megértése és az, hogy a művészek hogyan reprezentálják a valóság különböző elemeit világ. Egy ilyen hálózat előállíthat absztraktbb és jobb összetételű képeket. Az ilyen algoritmusok már nem lesznek hűvös játékok (ilyenek), és valódi, eredeti művészet előállításának módjává válnak.

Ami bizonyos szempontból nagyon sajátos gondolat.

Saját képek készítése

Ha kiábrándító eredményt kap, kicsit kipróbálhatja a lehetőségeket, hogy meggyőzőbb eredményeket érjen el. A teljes lista megtalálható a Github-on. A fontosak

• -tartalom_súly -érték Mennyit kell súlyozni a tartalom rekonstrukciós kifejezés. Az alapértelmezett érték 5e0.
• -stílus_súly -érték: Mennyi súlyt kell adni a stílusképnek. Alapértelmezés: 1e2.
• -style_scale - érték: Mennyit javíthat a rendszer a rendszerben (nagyobb lesz absztrakt). Az alapértelmezett érték 1.0.

Ha mindent elégedetten működik, kérjük, tegye a legérdekesebb képeit a megjegyzésekbe. Nagyon érdekel, hogy mit kerestek.

Kép kreditek: emberi agyfestő Shutterstockon keresztül