На фотографии — нужный человек в куртке. В видео — красивый проезд камеры. В аудиозаписи — ветер, который хочется услышать в сцене. MiniMax H3 позволяет строить видео вокруг таких материалов.
Чтобы они сложились в один эпизод, нужно объяснить, какую роль играет каждый. Иначе вместе с камерой из референса в сцену может попасть чужая одежда или интерьер.
Как связаны MiniMax, Hailuo и H3
MiniMax — разработчик. Hailuo — название его видеопродукта и предыдущих поколений. H3 — следующее поколение моделей для видео.
В Ubicomb есть несколько вариантов H3. Для начала выберите обычный короткий эпизод из фотографии или подготовьте референсы, если герой, место и движение задаются отдельно.
С чего можно начать ролик
Готовый первый кадр удобен, когда композиция уже найдена. Референсы — когда нужно соединить несколько материалов в новой сцене.
Для оживления портрета хватит изображения и описания движения. Для рекламы с конкретной одеждой лучше заранее показать саму вещь и то, как она сидит на человеке.
Для примера мы взяли изображение женщины с велосипедом и попросили опустить взгляд, положить левую руку на руль и улыбнуться. Ниже — результат H3. Небольшое действие получилось, но модель поставила на руль обе руки. Это тот случай, когда общий замысел читается, а конкретный жест ещё требует правки.
Распределите роли материалов
Допустим, снимаем куртку на открытом склоне. Фото задаёт героя и одежду, видеопример — медленное движение камеры, звук — атмосферу ветра.
В запросе так и напишите: «Сохрани человека и куртку с фотографии. Из видео возьми только боковой проезд камеры. Место действия — открытый склон».
Не превращайте запрос в загадку
Модель может получать несколько видов исходников, но связи между ними лучше назвать словами. Не стоит рассчитывать, что она сама поймёт, какой голос принадлежит герою и какое движение нужно перенести.
В исследовании H3 авторы специально распределяли подсказки между изображениями, звуком и видео. Сложнее оказались задания, где именно аудио должно было разрешить неоднозначность. Для рабочего брифа вывод простой: важную связь лучше сказать прямо.
Добавьте звук к действию
Шорох ткани, щелчок молнии и ветер помогают показать одежду в действии. Дайте каждому звуку место: человек застёгивает куртку, затем поворачивается к ветру.
Если нужна музыка, её можно добавить после выбора удачного видео. Так она не будет мешать оценивать движение и звуки самой вещи.
Как соединить несколько роликов
У двух клипов может быть похожее звучание, но на склейке музыка начнётся заново или резко изменится шум ветра. Прослушайте переход, а не только каждый ролик отдельно.
Для непрерывного фона удобнее положить одну звуковую дорожку поверх монтажа. Тогда отдельные планы можно менять, не разрывая атмосферу.
Пример запроса для куртки
«Герой с фотографии застёгивает куртку и медленно поворачивается к ветру. Сохрани одежду и лицо. Камера смещается слева направо, как в видеореференсе. На фоне открытый склон, слышны ветер и короткий звук молнии. Без музыки и речи».
Для длинной истории из нескольких эпизодов пригодится обзор Seedance.
