Идея
Мне захотелось обучить нейросеть созданию готических витражей, чтобы с помощью неё попробовать сгенерировать сцены из современной городской жизни.
Исходные изображения
В качестве исходных изображений были использованы фотографии витражей с Wikimedia Commons.
Результат обучения
a barista making coffee behind a counter, roundel composition
Что получилось хорошо
Сеть выучила форму витража: жирные чёрные контуры свинцового переплёта, мозаичное членение стекла, орнаментальные рамки, плоские фигуры в медальонах и стрельчатых арках, насыщенные красный, синий и охру. Сценам вроде «велосипедист в круглом окне» или «гитарист в красной рамке» стиль идёт особенно хорошо: круглая рамка роднит их с готическими розетками из обучающей выборки.
a student with a laptop and a coffee in a library // a yandex yellow courier delivering a package to a doorstep
Объекты нейросеть сохраняет (велосипед, гитара, чашка кофе, ноутбук на столе), а людей одевает в средневековые плащи и рясы. Получается тот самый контраст проекта: ноутбук в руках монаха, велосипед под человеком в красном капюшоне. Заметный побочный эффект: нимбы. Обучающая выборка состоит из святых, поэтому у бариста и музыканта вокруг головы появляется круг, как у святых.
a cyclist riding through the city, roundel composition
a street musician with a guitar // two alternative goths on a bench sitting in sadness
Что не удалось
Перспектива: на сцене с длинной аркадой возвращается глубокое пространство, которого в настоящем витраже нет. Мелкие современные детали рисуются условно. На полном весе теряются сюжеты.
a tram crossing a city bridge // a person walking a dog in the city park
a cyclist riding through the city
Процесс обучения
Сначала я занималась сбором датасета с помощью Claude. Получившийся скрипт фильтровал изображения по лицензии чтобы не нарушить авторские права.Подготовка данных: автоматический сбор с Commons (фильтры по лицензии и ключевым словам, резкость, яркость, дубликаты, проверка CLIP). Подписи сгенерированы моделью BLIP и очищены от религиозных слов, чтобы стиль не склеился с сюжетом. У каждой подписи триггер «gothic stained glass style».
a barista making coffee behind a counter, roundel composition
После обучения модели было проведено сравнение результатов генерации с различными значениями силы LoRA: 0.0, 0.5 и 1.0.Для итоговой серии было выбрано значение 0.5, поскольку оно позволило достичь более удачного баланса между особенностями обученного витражного стиля и возможностями базовой модели Stable Diffusion XL.На картинке со сравнением видно позитивное влияние обученной нейросети: лица получаются гораздо более реалистичными и похожими на готический витраж, то же самое с тканью, предметами и текстурой стекла.
Описание применения генеративной модели
Stable Diffusion XL base 1.0, дообучена методом LoRA: генерация итоговых изображений.
URL: huggingface.co/stabilityai/stable-diffusion-xl-base-1.0SDXL VAE fp16 fix: стабильная работа в fp16.
URL: huggingface.co/madebyollin/sdxl-vae-fp16-fixBLIP: автоматические подписи для датасета.
URL: huggingface.co/Salesforce/blip-image-captioning-baseCLIP: фильтрация датасета (отсев кадров без витража).
URL: huggingface.co/openai/clip-vit-base-patch32Claude (Anthropic): помощь с формулировкой концепции и написанием текста, скриптом сбора датасета и адаптацией ноутбука.
URL: claude.ai
Обучающая выборка (58 изображений) собрана с Wikimedia Commons. Использованы только файлы под лицензией CC0 и в общественном достоянии (Public domain).
