Original size 1039x1563

Обучение генеративной модели под стиль укиё-э

PROTECT STATUS: not protected

Концепция

Данный проект посвящён обучению Stable Diffusion и его применению для создания новых изображений. В качестве основы я решила использовать такое направление в искусстве как укиё-э и взять работы одного из художников этого направления — Утагава Куниёси.

Картины Утагава Куниёси

Для обучения использовался датасет из 35 картин. Ниже представлены некоторые из них.

Сгенерированные изображения

Сперва я решила сгенерировать то, что часто встречается среди работ в стиле укиё-э — пейзажи.

Сгенерированные изображения (комиксная версия)

После пейзажей я задумалась о том, насколько удачно модель могла бы осуществить различные необычные запросы и решила попробовать сгенерировать персонажей из комиксов.

Анализ изображений

Можно заметить, что в своих картинах Утагава в основном ставит людей на первый план, но, несмотря на это, при генерации пейзажей артефакты (случайные люди) возникали нечасто.

Все сгенерированные изображения не выбиваются из цветовой палитры, используемой в укиё-э. Так же сохраняется плоскость цветов и форм.

big
Original size 3639x1820

Тот самый артефакт

Не совсем удачно нейросеть справилась с рисованием цветов. На первый взгляд может показаться, что цветы получились хорошо, однако при приближении видно, что их форма повторяет форму листвы деревьев.

При этом в поданных на анализ работах есть «правильное» их изображение.

0
1/2

Сгенерированное изображение [1], картина Утагава Куниёси [2]

Существенно различаются лица сгенерированных персонажей от нарисованных художником.

Сгенерированное изображение [слева], картина Утагава Куниёси [справа]

Одежда в картинах японского художника всегда яркая и переполнена разнообразными узорами. В изображениях героев комикса можно заметить попытки нейросети сымитировать эти самые узоры.

0
1/2

Сгенерированное изображение [1], картина Утагава Куниёси [2]

Из-за специфики костюмов совсем аккуратно изобразить нейросеть их не смогла, однако персонажи всё равно хорошо читаются и узнаются.

Примечательно, что почти у всех персонажей присутствует катана, которая постоянно изображается у героев картин Утагава.

Сгенерированное изображение [слева], картина Утагава Куниёси [справа]

Обучение генеративной модели под стиль укиё-э
Project created at 30.03.2025
lpudesign
LPU — Lovely Professional University, India’s Best Private University in Punjab. A university with the infrastructure of global standards, internationally benchmarked curricula, rich diversity of students, innovative pedagogy for participative and experiential learning with focus on research, innovation and entrepreneurship
design
object design
art
fashion
environment
game design
illustration
animation
cgi
sound