Революция генеративного искусственного интеллекта: Netflix стимулирует новые исследования, чтобы навсегда изменить анимацию

В 2023 году прогнозируется, что Netflix получит самый высокий доход от потоковой передачи аниме. Теперь они связаны с инновационным проектом ИИ, направленным на существенную трансформацию как кинопроизводства, так и анимации.

На прошлой неделе группа исследователей из Netflix, Eyeline Studios (недавно приобретена Netflix), Stony Brook University, University of Maryland и Stanford University представила Go-with-the-Flow — инновационный метод управления выводом моделей генерации видео с использованием искусственного интеллекта. Как описано на GitHub, Go-with-the-Flow позволяет пользователям определять движение камер и объектов в сцене, даже позволяя переносить шаблоны движения из одного видео в другое!

Представьте себе, что вы превращаете одно изображение в динамическое видео всего за несколько щелчков, просто набросав путь, по которому должно следовать изображение. Вот что такое волшебство, которое Go-with-the-Flow воплощает в жизнь!

«Плыть по течению» может распространиться и на создателей аниме с «минимальными ресурсами или специальной подготовкой»

В ранее продемонстрированных случаях некоторые приложения, использующие Go-with-the-Flow, не требуют исходного изображения, например, для преобразования 3D-поворотного круга в реалистичное изображение животного. Эта технология также поддерживает редактирование первого кадра, для которого требуется только неизмененное видео и его отредактированный финальный кадр; затем он автоматически применяет отредактированный кадр ко всему видео без необходимости дополнительного человеческого вмешательства для внесения дальнейших изменений. Однако пользователь X (ранее Twitter) @ednewtonrex выразил обеспокоенность относительно происхождения видео, используемых для обучения модели. Go-with-the-Flow был разработан путем тонкой настройки уже существующей модели CogVideoX, которая потенциально могла содержать защищенный авторским правом материал среди 35 миллионов клипов, используемых для обучения CogVideoX. В исследовательской работе для Go-with-the-Flow предполагается, что тонкая настройка была выполнена с использованием «большого набора видеоданных общего назначения», состоящего из 4 миллионов видео с разрешением не менее 720 × 480 и длительностью от 10 до 120 секунд. Источник этого набора видеоданных остается нераскрытым.

Проще говоря, представленное исследование не только демонстрирует создание видео с живыми актерами, но и предполагает, что эта технология может быть применена и к аниме. Это действительно было одной из целей, упомянутых в исследовательской работе. В разделе «Заявление о социальном влиянии» статьи под названием «Go-with-the-Flow» авторы обсуждают, как их работа вносит вклад в разработку моделей генерации видео, уделяя особое внимание генерации видео с управлением движением. Они считают, что это может значительно преобразовать такие отрасли, как кинопроизводство и анимация. В заявлении подчеркивается, что представленный ими метод является вычислительно эффективным и простым в использовании для создателей, разработчиков и художников, что позволяет им создавать высококачественные видео с ограниченными ресурсами или специальной подготовкой. Хотя в заявлении о влиянии признаются потенциальные проблемы, такие как дипфейки или вводящие в заблуждение медиа, оно не решает проблемы нарушения авторских прав.

Главный продюсер аниме Netflix рассказал о преимуществах генеративного ИИ для индустрии

Главный продюсер Netflix Anime Тайки Сакурай (который также был исполнительным продюсером таких шоу, как «Cyberpunk: Edgerunners») подчеркнул необходимость внедрения генеративного ИИ в индустрию аниме. В сентябре 2023 года он заявил: «Разрыв между Японией и другими странами в принятии ИИ заключается в том, что Япония продолжает ценить индивидуальные навыки мастерства и не полностью отошла от этого традиционного подхода. Я считаю, что мы находимся в ситуации, когда не хватает творцов, и если мы не будем использовать ИИ, мы не сможем вовремя удовлетворить спрос на продукты завтрашнего дня». Он подчеркнул преимущества генеративного ИИ, такие как сокращение персонала в производстве, что приводит к снижению бюджетов и более быстрой рентабельности. «Я считаю, что технологический прогресс позволит команде из 100 человек снимать фильм в течение года, в отличие от 700–800 человек, которым раньше требовалось три года, чтобы снять один фильм», — пояснил он, предположив, что это может привести к повышению заработной платы персонала.

Очевидно, что любые действия Netflix в сфере аниме имеют значительные последствия. К 2023 году компания, как ожидается, станет ведущим мировым стриминговым сервисом аниме по доходам. В октябре прошлого года компания даже представила предложение правительству Японии относительно своего вклада в индустрию аниме. Она подчеркнула, что платит разумные цены за лицензирование аниме и распределяет эти доходы не только производственному комитету, но и основной студии, производящей аниме, и ее субподрядчикам. Кроме того, Netflix поддерживает школы подготовки аниматоров, такие как WIT Animator Academy, сотрудничество с WIT Studio и школой анимации Sasayuri. В своем заявлении Netflix выразила обеспокоенность сокращением рабочей силы в отрасли, заявив, что именно исключительные мастера оживляют персонажей «по одному кадру за раз», и стремится обратить эту тенденцию вспять.

Несмотря на критику со стороны Ассоциации японской анимации (в которую входят такие члены, как Aniplex, Kadokawa, Toei Animation и другие), прошлогоднее октябрьское ходатайство японского правительства, похоже, вызвало обеспокоенность по поводу практики выплат Netflix. В частности, утверждалось, что Netflix, глобальный поставщик дистрибуции, не платил роялти, а вместо этого выплачивал фиксированные гонорары, распределенные на несколько лет. Эта практика, сочтенная «неохотной», подверглась критике. В ответ Netflix заявили в том же месяце, что они не намерены менять свою модель выплаты фиксированных гонораров, выразив удовлетворение ею и ее соответствием большинству предпочтений их партнеров.

Смотрите также

• Индиана Джонс и Большой круг: все места книги приключений в Гизе
• Звезда игры «Кальмар» рассказал, почему он взял на себя роль Таноса, несмотря на разногласия
• 5 злодеев Наруто, которые не ошиблись
• Прохождение «Индиана Джонс и Большой круг» (очень сложно) — финальный босс и концовка
• Клип «Царство планеты обезьян» анонсирует альтернативную версию перед выпуском 4K UHD
• Starforge Systems представляет новую коллекцию ПК Frieren для любителей аниме
• Этой осенью 2024 года аниме обязательно стоит посмотреть поклонникам Dead Mount Death Play
• Леди Гага появится во втором сезоне среды после вирусного мема в TikTok
• «Звездные войны: Андор», 2-й сезон раскрывает первый взгляд на возвращение злодея из «Изгоя-один»
• Боруто: Два Синих Вихря Последний краткий обзор дразнит Конохамару за пределами Конохи

2025-01-29 07:38