ШІ, який здатний створювати цілі фільми. Runway випустила потужну модель Gen-4 для створення відео

Про це пише TechCrunch.

Нова модель Gen-4 вміє генерувати стабільні образи героїв, локацій та об’єктів у різних сценах, не порушуючи цілісності середовища та відтворюючи окремі елементи з різних позицій і ракурсів. Користувачі можуть надати моделі зображення певного персонажа та зробити опис кадру чи композиції, яку б вони хотіли отримати.

“Gen-4 може використовувати візуальні референси та інструкції для створення нових зображень і відео зі стабільним стилем, персонажами та локаціями. І все це без необхідності додаткового тренування або донавчання моделі”, — стверджує Runway у своєму блозі.

Користувачі можуть задавати референсні зображення та текстові інструкції для створення відео з бажаним стилем, композицією та рухами.

Модель Gen-4 може зберігати відповідність персонажів в різних умовах освітлення, а також імітувати реалістичну фізику у кадрі. Розробники моделі розповіли, що навчали новий інструмент на значному обсязі відеоматеріалів, не розкриваючи джерела даних, щоб не втратити конкурентні переваги.

Модель Gen-4 вже використовується для створення короткометражних фільмів, рекламних роликів та інших творчих проєктів. Наприклад, Runway продемонструвала відео, де персонажі зберігають свою послідовність у різних сценах, а також ролики з реалістичними ефектамию

Проте такий підхід компанії вже викликав судові позови. Проти кількох компаній, включно з Runway, вже подано колективний позов через використання захищених авторським правом зображень без дозволу для навчання алгоритмів.

Gen-4 доступна для платних користувачів та корпоративних клієнтів Runway. Компанія планує додати нові функції для розширення можливостей моделі.

Ця модель відкриває нові горизонти для кінематографа, реклами та інших сфер, де потрібні високоякісні відео.

Сам стартап підтримується інвестиціями від Salesforce, Nvidia та Google і переважно спеціалізується на інструментах для роботи з відео. Конкурентами компанії є гіганти OpenAI та Google зі своїми моделями Sora та Veo 2 відповідно. Runway прагне зберегти позиції на ринку, для чого вже уклала угоду з великою студією з Голлівуду та інвестувала значні кошти у створення фільмів з використанням штучного інтелекту.