This site uses cookies. More information presents the page The policy for cookies and similar technologies. CLOSE Close the warning message

Comixify - algorytm do przekształcania wideo w komiks

Comixify-algorytm-do-przeksztalcania-wideo-w-komiks

Projekt został stworzony przez studentów przygotowujących prace dyplomowe w ramach Zakładu Grafiki Komputerowej. Byli to inż. Maciej Pęśko, Adam Svystun i inż. Paweł Andruszkiewicz - pod opieką naukową pracowników Zakładu Grafiki Komputerowej Instytutu Informatyki: prof. dr. hab. inż. Przemysława Rokity  i dr. inż. Tomasza Trzcińskiego .

Comixify automatycznie wybiera najciekawsze i najważniejsze klatki z przesłanego filmu, a potem układa je, dopasowuje do ramek i przerabia graficznie.

Pomysł narodził się dzięki połączeniu zainteresowań studentów (związanych z komiksami i transferem stylu przy użyciu uczenia maszynowego) oraz dotychczasowych publikacji Zakładu, w tym m.in. tej dotyczącej przewidywania popularności treści w Internecie  (T. Trzcinski, P. Rokita. Predicting popularity of online videos using Support Vector Regression. IEEE Trans. Multimedia (TMM). Vol. 19, Nr. 11, p. 2561-2570, 2017).

Najpierw wyodrębniane są reprezentatywne sceny z nagrania. Żeby to zrobić, naukowcy rozwinęli algorytm oparty o metodę uczenia ze wzmocnieniem (Reinforcement Learning), a mający na celu inteligentne podsumowanie filmu. Poprzez dodanie modułu estymującego jakość zdjęcia oraz jego popularność, Comixify jest w stanie nie tylko wybrać z filmu klatki najbardziej reprezentatywne, ale również te, które prezentują najwyższy potencjał estetyczny i mają największą szansę na popularność.

Na stronie Comixify można zobaczyć m.in. komiksy wygenerowane z fragmentów filmów "Pulp Fiction" i "Gwiezdne wojny: Część I – Mroczne widmo". Narzędzie opracowane przez zespół z ZGK każdy może bezpłatnie przetestować, przesyłając własne pliki (do 50 MB) albo korzystając z linków z YouTube’a. 

Publikacja naukowa opisująca algorytm ukazała się w Internecie 12 grudnia 2018 roku i z miejsca wywołała falę zainteresowania od Japonii, przez Australię, Indie, Francję, po Stany Zjednoczone. W tym czasie strona Comixify zanotowała ponad 140 tysięcy wejść, wygenerowano na niej kilkanaście tysięcy komiksów, a twórcy otrzymali liczne wiadomości od zainteresowanych rozwiązaniem producentów filmowych oraz wydawców komiksów z Europy i Stanów Zjednoczonych.

Nasi badacze chcą dalej pracować nad projektem, rozszerzając go o nowe funkcjonalności: generowanie kolejnych layoutów oraz rozpoznawanie głosu, które umożliwi dodawanie do obrazów także tekstu. Odpowiadając na międzynarodowe zainteresowanie, szukają również możliwości finansowania dalszych prac.

Last modified: Monday, March 4, 2019 - 9:27:54 AM, Agnieszka Skalska

x x News (1) - by publication date

‹‹ January 2019 ››
Mon Tue Wed Thu Fri Sat Sun
  1 2 3 4 5 6
7 8 9 10 11 12 13
14 15 16 17 18 19 20
21 22 23 24 25 26 27
28 29 30 31