Pika H3 Flex: видеомодель с открытыми весами, которая понимает раскадровку

29 октября Pika представила H3 Flex — свою дообученную версию видеомодели MiniMax H3. Обычно я пролистываю такие анонсы, но здесь есть две вещи, которые цепляют любого, кто рисует или монтирует: работа с раскадровкой и открытые веса.

Что умеет модель

• До 12 референсов за раз: картинки, видео и аудио вместе. Можно дать персонажа с одного рисунка, мир — с другого, а движение — с видеоролика, и указать, что брать из каждого файла.
• Нарисованные ключевые кадры как основа: в демо Pika показывает ролик, собранный из пяти карандашных набросков и пары фотографий-ориентиров по стилю.
• Пять отдельных звуковых дорожек через API: диалог, музыка, эффекты, фоли и фон. Музыку можно приглушить, не трогая голоса.
• Скорость: генерация идёт в шесть шагов вместо пятидесяти. По данным Pika, 15-секундный клип 768p со звуком считается около семи секунд — правда, это только работа самого трансформера, а не полное время ответа.
• Черновики в 480p или 768p, а понравившийся вариант можно поднять до 1080p, 2K или 4K.

Открытые веса — с оговорками

Pika выкладывает адаптеры генератора и код инференса, так что модель можно запускать на своём железе и дорабатывать в рамках лицензии. Но апскейлер до 4K, разделение звука на дорожки и ускоренный сервер остаются только на стороне Pika. Сейчас Flex доступна через API, а 2 ноября появится и в основном приложении.

Мой взгляд

Для аниме-индустрии это палка о двух концах. С одной стороны, режиссёру проще прикинуть, как будет «играть» раскадровка, ещё до того, как сцену возьмут в работу. С другой — инструмент, который превращает чужие наброски в движущиеся кадры, неизбежно подогреет споры об авторстве, которые и так идут в японских студиях. Я бы хотела увидеть, как модель справляется с рисованной стилистикой, а не только с «киношной» картинкой из демо.

Анонс и примеры — в блоге Pika.