Концепция
В XVII веке голландская плитка была лентой повседневности. На белой оловянной глазури кобальтом рисовали тех, кого видели на улице: водоноса с вёдрами на коромысле, бондаря за бочкой, скрипача, солдата с мушкетом, всадника, детей с обручем.
Я решила обучить нейросеть делать современные изразцы с занятиями нашего времени.
В проекте Stable Diffusion учится языку голландской плитки на 99 изразцах и рисует современные профессии, хобби. У каждой профессии есть рифма — историческая плитка из датасета. Например: водонос это — курьер.
Исходные фото
Датасет 99 сине-белых плиток с фигурами людей из открытой коллекции Rijksmuseum. Музей публикует изображения под Public Domain Mark — это общественное достояние, их можно использовать без ограничений, в том числе для обучения моделей. Лицензия проверена через открытый API музея.
В датасет попали только сине-белые плитки с людьми: ремёсла, детские игры, солдаты, всадники, горожане. Не взяты полихромные плитки, плитки с марганцевым фоном, корабли, звери и орнаменты, так как они не подходят по идеи.
После нарезки убраны ещё семь плиток со сколами, трещинами и повторы
Обучение модели
Рисунок переносили на плитку через спонс — лист бумаги, проколотый иглой по контуру. Его клали на сырую глазурь и простукивали мешочком с угольной пылью, на плитке оставался пунктир. По этому пунктиру мастер быстро прописывал фигуру кистью. Шаблон и рука, плитки одной серии похожи, но двух одинаковых нет.
Генеративная модель устроена так же. Обученная LoRA — это спонс, выученный язык плитки, композиция, манера, орнамент в углах. Seed — рука: каждый раз картинка прописывается немного иначе.
LoRA обучалась 1500 шагов
Курьер на чекпойнтах каждые 250 шагов от фотографии к плитке.
Триггер-слово — tegeltje (плитка по-нидерландски).
К каждой плитке написана подпись на английском — только про сюжет, без слов о стиле: tegeltje, a water carrier with two buckets hanging from a yoke. Так модель связывает стиль со словом tegeltje, а фигуру — с остальными словами. При генерации сюжет можно заменить любым другим, а стиль останется.
Генерация
Вес LoRA решает, насколько выученный стиль перекрывает базовую модель при 0.4 и 0.7 выходит фотография с 1.0 уже плитка. Seed меняет позу, рамку и орнамент, но один промпт даёт четыре разные плитки.
Результат
У каждой сцены нашлась пара в XVII веке. Доставка, грузщик, спорт, прогулка, работа за ноутбуком, а сюжеты все те же, меняются инструменты.
Использованные инструменты
Все плитки серии сгенерированы Stable Diffusion 1.5 с LoRA, обученной в этом проекте.
Основа кода пример курса SDXL DreamBooth LoRA.
Код написан в Google colab.
Датасета: 99 изображения.
Количество шагов: 1500.
Разрешение: 512×512 пикселей.
Использованные модели ИИ:Stable Diffusion 1.5, LoRA для обучения и генерации модели.
Сlaude Opus 5.5 для поиска датасета и исправления кода.
