КОНЦЕПЦИЯ
На первом курсе я проводила визуальное исследование, посвящённое влиянию художника эпохи позднего Возрождения, Эль Греко, на модернистов. Меня всегда восхищала его уникальная манера: удлинённые фигуры, драматический свет, экспрессивные жесты и мистическая атмосфера.
эль греко «кающаяся мария магдалина» 1579 // эль греко «пьета» 1592 (фрагменты)
В рамках данного проекта я решила пойти дальше формального анализа и научить генеративную нейросеть Stable Diffusion воспроизводить уникальный стиль Эль Греко, чтобы создать серию оригинальных изображений, продолжающих эстетику художника.
примеры исходных изображений для обучения
Для обучения был собран датасет из 39 изображений работ Эль Греко. Я отобрала произведения, наиболее ярко демонстрирующие характерные черты стиля: удлинённые пропорции фигур, контрастное освещение, экспрессивные позы и жесты, холодные, мерцающие тона. Я решила выбрать только те картины, на которых изображены люди (портреты и религиозные сюжеты).
>> ПАПКА С ИЗОБРАЖЕНИЯМИ <<
типы исходных изображений: портреты и религиозные сюжеты
Все изображения были приведены к квадратному формату 1:1 и снабжены текстовыми подписями с помощью модели BLIP. Это необходимо для обучения DreamBooth, где требуется текстовая пара «изображение — описание». Чтобы модель усвоила связь между визуальным стилем и текстовым промптом, к каждой сгенерированной подписи был добавлен префикс «a painting in the style of EL GRECO, „.
генерация подписей через BLIP
ОБУЧЕНИЕ
После началось само обучение Stable Diffusion с использованием технологии LoRA. Базовая модель: stabilityai/stable-diffusion-xl-base-1.0. Разрешение 512×512, скорость обучения: 1e-4, количество шагов: 500 (с чекпоинтами каждые 250 шагов). В итоге обучение заняло около часа.
обучение stable diffusion
ПЕРВЫЙ ПРОМПТ
Для начала я решила попробовать максимально простой промпт и сгенерировать портрет женщины в красном: «a painting in the style of EL GRECO, a portrait of a woman in red clothes»
количество шагов 25
количество шагов 50
количество шагов 100 vs количество шагов 200
Я решила поэкспериментировать с количеством шагов в генерации, оптимальным числом оказалось 50.
ГЕНЕРАЦИЯ
Далее я приступила к генерации изображений, похожих на сюжеты картин Эль Греко.
