Original size 2480x3500

Обучение генеративной нейросети под стиль Михаила Врубеля

PROTECT STATUS: not protected

Описание проекта

Основная тема проекта — обучение генеративной модели Stable Diffusion с LoRA-тюнингом для достижения генерации изображений, стилистически соответствующих живописным работам Михаила Врубеля. Задача состоит в том, чтобы нейросеть учла особенности цветовой палитры, композиции, изображения людей и природы, атмосферу работ и даже то, как художник наносил мазки.

Мною был собран датасет из различных работ художника, включающих не только его самые известные произведения и сюжеты, но и те, которые помогают выделить особенность его полотен. Поскольку живопись Врубеля во многом отличается от работ других художников именно настроением и атмосферой было важно, чтобы это было учтено.

Исходные изображения для обучения

0
1/4
0
1/2

Описание процесса обучения

Сначала мы подключаем видеокарту, для чего используем Google Collab, а не свой компьютер, что ускоряет обучение нейросети. А также устанавливаем и скачиваем библиотеки.

Original size 1905x647

Затем создается папка, и загружаются файлы оригинальных картин Врубеля с компьютера.

Original size 1707x773

Далее подключаем библиотеки и строим сетку, на каждую ячейку которой мы ставим изображение — делаем коллаж.

Original size 1847x901

Затем на основании имеющейся модели будет происходить процесс обучения.

Также в приведенном ниже блоке мы описываем исходные изображения. Для этого используется модель image to text, чтобы не описывать каждое изображение вручную и ускорить процесс. Модель описала достаточно конкретно, но возможно не так красочно и подробно, как мог бы человек. Однако меня устроил полученный результат.

Original size 2115x468
Original size 2083x1049

Далее происходит логин на Hugging Face. Делается своя директория и туда загружается результат работы.

Original size 1315x125

Следующий блок запускает процесс обучения.

Original size 1468x852

Затем происходит генерация картинки по описанию с учетом обученной модели.

Original size 2220x951

Результирующая серия изображений

В итоге полученные изображения можно условно разделить на три раздела — работы, где изображены демоны, пейзажи и портреты.

Получившаяся модель хорошо генерирует изображения, связанные с демонами, и поскольку у Врубеля это отдельная серия работ, здесь они тоже образуют свою категорию.

Original size 3300x1950

promt: winged demon with shadowy form perched on ancient ruins at dawn, with the first rays of sun creating a golden halo effect

В приведенной работе достаточно точно стилистически передан фон и то, как изображен сам демон, который своими чертами напоминает оригинальную скульптуру демона, выполненную самим Врубелем.

promt: demon with shadowy wings in mid-flight against a bright, stormy sky, his wings spread wide, with lightning striking in the background / horned demon with leathery wings kneeling in a field of white flowers under a bright, full moon, creating stark contrast

Интересно рассмотреть различные пейзажи в стиле Врубеля, поскольку хорошо видно как нейросеть переносит стиль мазков художника и показывает даже непривычные для Врубеля сюжеты, в которых он все равно узнается.

Обучение генеративной нейросети под стиль Михаила Врубеля
Project created at 09.11.2025
lpudesign
LPU — Lovely Professional University, India’s Best Private University in Punjab. A university with the infrastructure of global standards, internationally benchmarked curricula, rich diversity of students, innovative pedagogy for participative and experiential learning with focus on research, innovation and entrepreneurship
design
object design
art
fashion
environment
game design
illustration
animation
cgi
sound