Буктрейлер к роману «Чертеж на снегу» Павла Сугарина
Финальное видео:
https://rutube.ru/video/9156726e9164e25abcacc608d3972688/?r=wd
https://vkvideo.ru/video-113196620_456239018
Идея: Нужно сделать трейлер к книге в жанре «Современный любовный роман». В Трейлере отобразить ключевые сцены, главных действующих лиц.
Особенности:
Так как аудиторией книги являются женщины 30-50 лет, то для трейлера было важно использовать строго фото-реалистичный стиль с кинематографичными кадрами. Ролик должен смотреться как мини-фильм, с законченным сюжетом, показывающий романтические чувства героев, драму и хэппи-енд. Нужно было показать намек на эротическое содержание оригинала, но удержаться в рамках допустимого возрастного ценза видео-хостингов. Хронометраж ролика не должен превышать 2,5 минуты.
Последовательность сцен:
Ролик должен включать в себя последовательность событий в той же хронологии, что и в романе: — Знакомство героев в аэропорту; — Поездка к заброшенной усадьбе; — Ночевка у камина; — Разрыв; — Конфликт; — Разрешение конфликта; — Новая встреча.https://litnet.com/ru/book/chertezh-na-snegu-b582269
Начало должно быть лиричным, как в книге; Середина — драматической кульминацией, возможно жесткой по настроению; Финал — светлым и позитивным.
Использованные модели
Промты и раскадровка: Deepseek Генерация артов: Z-Image Turbo Img2Vid: Grok (70%), Qwen (30%) Upscaling: Topaz AI Starlight mini Музыка: Suno AI Монтаж: CapCut1. Раскадровка
В Deepseek были загружены обе части романа. Для каждой части были отправлены запросы на генерацию раскадровок по ключевым сценам.
2. Промты для артов
Опираясь на раскадровку, Deepseek для каждого запланированного кадра генерил промт на создание стартового арта.
В итоге был составлен документ, в котором были описаны ключевые сцены романа с точки зрения видео-анимации. Для каждой сцены была сделана заготовка промта для генерации стартового арта.
3. Генерация артов Text2Image
В локальной модели Z-Image Turbo по каждому промту были сгенерированы арты для дальнейшей анимации.
Z-Image Turbo был выбран исходя из следующих особенностей: — Отличное качество для необходимой фотореалистичности; — Быстрая генерация сразу в разрешении 1920*1080; — Поддерживает генерацию сложных сцен и коллажей; — Легко воспринимает коррекцию промтов для исправления ключевых деталей; — Чтобы сохранить черты героев из арта в арт, в промты были добавлены паттерны с ссылками на реальных актеров: «woman who looks like Charlize Theron, with ideal short dark hair», «a young man in his 20s similar to Dawid Schaffranke»;
Всего было отобрано 40 артов.
4. Оживление видео из артов Image2video
Grok:
+ Быстрая скорость генерации; + Число доступных в день запросов ~10 на аккаунт; + Анимирует с большим количеством движений; + Большая вариативность и «фантазия» при оживлении арта; \- Скорость анимации при запросах приходилось намеренно замедлять промтом: «герой медленно подходит к героине», «камера плавно двигается вокруг объекта»; \- Генерирует видео в разрешении 752*416, низкое качество;Qwen:
+ Меньше движения, большая размеренность; + Создает ролики сразу в разрешении 1920*1080; \- Долгое время генерации; \- Меньшая вариативность при анимации; \- Число доступных в день запросов ~3 на аккаунт;
В итоге было отобрано около 70 видео-фрагментов по 5 секунд каждый.
5. Upscaling в Topaz AI
Полученные видео-фрагменты были в низком разрешении. Традиционные модели апскейлинга, вроде ESGRAN или UltraSharp, оказались абсолютно неподходящими, так как на полученных результатах проявлялось большое количество артефактов, добавленных Grok при анимации видео. Неплохо показали обычные модели Topaz AI, вроде Proteus и Iris, которые немного сглаживали ошибки анимации и отличались очень высокой производительностью. Но действительно выдающийся результат продемонстрировала нейросетевая модель Starlight Mini, запускаемая локально и убирающая 99% артефактов при отличном качестве апскейлинга. Единственным минусом данной модели оказалась низкая производительность. На полный апскейлинг до разрешения 2256*1248 всех фрагментов общей длительностью в 6 минут ушло примерно 4 дня.
6. Музыка в Suno AI
Для генерации музыки использовалась Suno бесплатной версии 4.5 — Плюсом является качество, которое на порядок лучше конкурентов вроде Udio. — Кроме того, в бесплатной версии есть возможность загрузить свой трек и сделать на его основе ремикс с указание стилистики в промте (переделать электронный трек в классический-оркестровый, сохранив основы мелодики и ритма оригинала). — Минусом было то, что в бесплатной версии нельзя задать продолжительность результата, и нельзя в промте описать разные требования к разным частям («начало спокойное», «середина динамичная» и т. д.). Приходилось генерировать разные треки с разными промтами, играя в лотерею. — В итоге было отобрано пять полученных результатов в разных стилях и мелодиях. Из каждой выбирались подходящие фрагменты, которые потом миксовались на монтаже.