Проект сделан в рамках работы с нейросетью Stable Diffusion. Задачей было создать работы в стиле Тима Бертона.
Концепция
Мультипликационный стиль Тима Бертона достаточно узнаваем: готический, мультяшный, выдержанный в мрачной цветовой палитре. Практически все персонажи имеют определенную схожесть: длинную шею и выраженные большие глаза, a объекты кругловатую, необычную форму.
Тим Бёртон, Майк Джонсон «Труп невесты», 2005 г. Тим Бёртон «Франкенвини», 2012 г.
Стиль отлично подходит для детских и взрослых мультфильмов-ужастиков. Задачей проекта было подхватить главные черты персонажей художника и обучить нейросеть создавать новые образы и миры в его стилистике. Так же посмотреть, получится ли создать новые кадры с уже существующими персонажами.
Тим Бёртон, Майк Джонсон «Труп невесты», 2005 г. Тим Бёртон «Франкенвини», 2012 г.
Серия работ
С помощью нейросети было сгенерировано несколько новых персонажей и пространств. А также были созданы кадры, повторяющие сюжет одного из мультфильмов художника.
При попытках сгенерировать достаточно известный сюжет свадьбы по мульфильму «Труп невесты», нейросеть удачно повторила образы главных персонажей Тима Бертона.
Удалось сгенерировать новых персонажей-девочек, дочек главной героини. Одна из них играет в компьютер, а три маленьких близняшки готовятся ко сну. Персонажи отличимы по возрасту: дети и взрослые наделены своими чертами лица в соответствии с их годами жизни.
На картинках сгенерированы новые образы чудовищ. Промпта для генерирования конкретных образов не было, нейросеть сама придумала персонажей исходя из датасета.
Можно заметить, что нейросеть хорошо смогла обучиться создавать животноподобных персонажей. Однако он не копирует их полностью, а добавляет черты и детали героев Тима Бертона. Сверху сгенерированы изображения кота, поедающего кишки за обедом и «страшной» собаки в лесу. Однако картинка справа больше подходит под привычную цветовую палитру художника.
Различные пространства: закат на лугу, рассвет на оживленной улице. Читается стиль художника, самые узнаваемые объекты— сухие ветви деревьев и дома обтекаемой формы.
Было сгенерировано новое пространство: кошачья кофейня с котом-баристой. Однако цвета получились достаточно позитивными для стиля Тима Бертона (скорее всего из-за попытки создать не ночную а утреннюю атмосферу), хоть в то же время и не сильно яркие, сдержанные.
Здесь представлены эскизы татуировок с животными в стиле Тима Бертона, также выполненные в узнаваемой цветовой палитре, как в мультике «Франкенвини».
Ход работы
Для обучения нейросети было выбрано около 25 работ Тима Бертона. Предварительно работы были переделаны в квадратный формат и приведены к единому расширению. Код писался в kaggle.
Первым делом происходит проверка gpu, далее установка всех нужных библиотек: bitsandbytes, diffusers а также lora, которая выполняет основную роль в обучении модели.
Следующий этап — импорт датасета, форматирование картинок и создание директория. Импорт модели BLIP и функции caption images.