Comixify - algorytm do przekształcania wideo w komiks

Comixify-algorytm-do-przeksztalcania-wideo-w-komiks

Projekt został stworzony przez studentów przygotowujących prace dyplomowe w ramach Zakładu Grafiki Komputerowej. Byli to inż. Maciej Pęśko, Adam Svystun i inż. Paweł Andruszkiewicz - pod opieką naukową pracowników Zakładu Grafiki Komputerowej Instytutu Informatyki: prof. dr. hab. inż. Przemysława Rokity  i dr. inż. Tomasza Trzcińskiego .

Comixify automatycznie wybiera najciekawsze i najważniejsze klatki z przesłanego filmu, a potem układa je, dopasowuje do ramek i przerabia graficznie.

Pomysł narodził się dzięki połączeniu zainteresowań studentów (związanych z komiksami i transferem stylu przy użyciu uczenia maszynowego) oraz dotychczasowych publikacji Zakładu, w tym m.in. tej dotyczącej przewidywania popularności treści w Internecie  (T. Trzcinski, P. Rokita. Predicting popularity of online videos using Support Vector Regression. IEEE Trans. Multimedia (TMM). Vol. 19, Nr. 11, p. 2561-2570, 2017).

Najpierw wyodrębniane są reprezentatywne sceny z nagrania. Żeby to zrobić, naukowcy rozwinęli algorytm oparty o metodę uczenia ze wzmocnieniem (Reinforcement Learning), a mający na celu inteligentne podsumowanie filmu. Poprzez dodanie modułu estymującego jakość zdjęcia oraz jego popularność, Comixify jest w stanie nie tylko wybrać z filmu klatki najbardziej reprezentatywne, ale również te, które prezentują najwyższy potencjał estetyczny i mają największą szansę na popularność.

Na stronie Comixify można zobaczyć m.in. komiksy wygenerowane z fragmentów filmów "Pulp Fiction" i "Gwiezdne wojny: Część I – Mroczne widmo". Narzędzie opracowane przez zespół z ZGK każdy może bezpłatnie przetestować, przesyłając własne pliki (do 50 MB) albo korzystając z linków z YouTube’a. 

Publikacja naukowa opisująca algorytm ukazała się w Internecie 12 grudnia 2018 roku i z miejsca wywołała falę zainteresowania od Japonii, przez Australię, Indie, Francję, po Stany Zjednoczone. W tym czasie strona Comixify zanotowała ponad 140 tysięcy wejść, wygenerowano na niej kilkanaście tysięcy komiksów, a twórcy otrzymali liczne wiadomości od zainteresowanych rozwiązaniem producentów filmowych oraz wydawców komiksów z Europy i Stanów Zjednoczonych.

Nasi badacze chcą dalej pracować nad projektem, rozszerzając go o nowe funkcjonalności: generowanie kolejnych layoutów oraz rozpoznawanie głosu, które umożliwi dodawanie do obrazów także tekstu. Odpowiadając na międzynarodowe zainteresowanie, szukają również możliwości finansowania dalszych prac.

Ostatnia modyfikacja: poniedziałek, 4 marca 2019, 09:27:54, Agnieszka Skalska

x x Aktualności (1) - wg daty publikacji

‹‹ Styczeń 2019 ››
Pon Wt Śr Czw Pt So N
  1 2 3 4 5 6
7 8 9 10 11 12 13
14 15 16 17 18 19 20
21 22 23 24 25 26 27
28 29 30 31      

absolwenci ankieta badania BigData dydaktyka IBM instytut Instytut Lotnictwa ISI kandydaci konkurs konkurs FINESCE orientacja praca praktyki prezentacja programowanie projekty przedmiot przedmioty publikacje seminarium specjalność staże zagraniczne studenci studia studia magisterskie studia za granicą stypendia Texas Instruments współpraca wykład

x x Znaczniki

x x Zestawienie miesięczne