Tavaly egy német számítógépes tudósok egy csoportja hullámot készített egy új számítógépes algoritmus bemutatásával, amely bármilyen digitális állóképet képes grafikákká alakítani, amelyek olyan mesterek festői stílusát utánozzák, mint Vincent van Gogh, Pablo Picasso és Edvard Munch. Annak ellenére, hogy lenyűgöző teljesítmény, ugyanazon technika alkalmazása mozgó képekre felháborítónak tűnt akkoriban. De most egy másik kutatói csoport találta ki gyorsan és zökkenőmentesen mozgó digitális remekműveket - írja Carl Engelking az Discover számára .
kapcsolodo tartalom
- Ez a animált film Van Gogh-ról teljes egészében olajfestményekből készült
- Ez a mesterséges idegi hálózat abszurd abszorpciós vonalakat generál
A video bemutatón a programozók bemutatják algoritmusuk művészi képességeit azáltal, hogy a filmeket és televíziós műsorokat, mint például a Ice Age és Miss Marple jeleneteket egér kattintással festményszerű animációkké alakítják át. Az algoritmus kifejlesztése azonban nem volt apró teljesítmény.
Ahhoz, hogy ilyen részletes átalakítást végezzen, Leon Gatys számítástechnikus és kollégái a Tübingeni Egyetemen mélyreható algoritmust fejlesztettek ki, amely egy mesterséges idegi hálózaton fut. Az emberi agy idegsejtjeinek kapcsolatfelvételét utánozva ezek a gépi tanulási rendszerek sokkal bonyolultabb feladatokat tudnak végrehajtani, mint bármelyik régi laptop.
Így működik: hogyan néz ki egy képet egy festményről, vagy filmet néz a laptopján, és szemtanúja lehet annak, hogy a számítógép dekódolja az információt egy fájlban, és a megfelelő módon bemutatja. Amikor ezeket a képeket egy neurális hálózaton keresztül dolgozzák fel, a számítógép képes az e fájlokban található sokféle információrétegre felvenni és darabonként különválasztani őket.
Például, az egyik réteg tartalmazhatja az alapszínekre vonatkozó információkat a Van Gogh Csillagos éjszakájában, míg a másik hozzáteszi a részleteket és a textúrát, és így tovább, a MIT Technology Review szerint . A rendszer ezután külön-külön megváltoztathatja az egyes rétegeket, mielőtt újra összeraknák őket, hogy egy teljesen új képet hozzanak létre.
„Mindkét reprezentációt egymástól függetlenül manipulálhatjuk, hogy új, érzékelhetően értelmes képeket hozzunk létre.” Írta Gatys egy tanulmányban, amelyet az prepress arXiv szerverre publikáltak.
A réteg alapú tanulásnak ezt a rendszerét alkalmazva, Picasso és van Gogh festményeire, és csak néhányat említhetünk, képesek voltak kidolgozni egy algoritmust, amely „megtanította” a számítógépet, hogy ezt az információt úgy értelmezze, hogy elválasztja egy festmény a stílusából. Miután megértette, hogy van Gogh hogyan használta az ecsetvonásokat és a színeket, akkor ezt a stílust alkalmazhatja, mint a Photoshop szűrő, egy képre, és hatékonyan újra létrehozhatja azt ikonikus stílusában - írta Matt McFarland a Washington Post számára . De ezt a technikát a videóra alkalmazva egy teljesen új problémakört jelentett.
„A múltban egy kép kézi újrarajzolása egy bizonyos művészi stílusban szakmai művészt és hosszú időt igényelt” - írta Manuel Ruder és csapata a Freiburgi Egyetemen új tanulmányukban, amelyet szintén közzétettek az arXiv-en. "A képzelet meghaladta ezt az egykezes videósorozatot."
Amikor Ruder és munkatársai először megpróbálták alkalmazni az algoritmust a videókra, a számítógép felbukkant a gobbledygookból. Végül rájöttek, hogy a program a videó egyes képkockáit külön állóképként kezeli, ami a videó téves villogását okozta. Annak érdekében, hogy elkerüljék ezt a kérdést, a kutatók korlátokat szabtak az algoritmusnak, amely megakadályozta, hogy a számítógép túlságosan eltérjen a keretek között - írja az Engelking. Ez lehetővé tette a program számára, hogy letelepedjen és következetes stílust alkalmazzon az egész videóban.
Az algoritmus nem tökéletes, és gyakran nehézségeket okoz a nagyobb és gyorsabb mozgások kezelése. Ez azonban továbbra is fontos előrelépés abban, ahogyan a számítógépek képesek megjeleníteni és megváltoztatni a videót. Még a korai szakaszában a jövőbeli algoritmusok ezt a hatást alkalmazhatják egy okostelefon-alkalmazáson keresztül készített videókra, vagy akár kedvenc festményeik virtuális valóság verzióit is megjeleníthetik - mondja a MIT Technology Review .
Az a gondolat, hogy a művész stílusát adatpontokká alakítják le, egyes embereket rangsorolhat, ezenkívül megnyitja az ajtót minden új művészetnek, amelyről soha nem lehetett hitte.
