Нейросеть, которая учится вырезать из бумаги: карандашный эскиз, крафт, газетные обрывки и три цвета — коралловый, бирюзовый, чёрный.
Идея проекта
Я делаю бумажные коллажи: сначала набрасываю фигуру цветным карандашом на сером листе, потом поверх вырезаю фрагменты — волосы из крафта, одежду из старых газет, акценты из коралловой и бирюзовой бумаги — и добавляю белые глянцевые блики, как на лаке. Фигура остаётся недорисованной: цвет есть только там, где лежит бумага.
Идея проекта — научить Stable Diffusion XL узнавать этот почерк и применять его к любым сюжетам: коту, велосипедисту, лодке. Задача не копировать мои работы, а проверить, какие приёмы нейросеть считает «стилем»: палитру, фактуру, незаполненное пространство или логику вырезанных форм.
Исходные изображения
Датасет — 5 работ, из которых получилось 23 квадратных изображения 1024×1024: полная композиция на сером фоне и крупные фрагменты (лицо, волосы, окна, чашки, хвост лисы).
Портрет сделан мной вручную, остальные изображения сгенерированы по стилю в Recraft.
Как обучалась модель
Базовая модель — SDXL 1.0, дообучение методом DreamBooth + LoRA в Google Colab на видеокарте Tesla T4. Квадратные кадры нарезаны из исходников; картинки с пустым фоном дополнены серыми полями до 1:1, чтобы сохранить композицию с большим свободным местом.
resolution=768 · batch=1 · grad_accum=4 · lr=1e-4 · snr_gamma=5.0
8-bit Adam · fp16 · gradient checkpointing
max_train_steps=1500 · checkpoints: 500 / 1000 / 1500 · seed=0
instance_prompt = «paper collage in AYCOLLAGE style»
Серия изображений
Во всех запросах стилевой префикс одинаковый, меняется только сюжет. Сид фиксирован (100 + номер кадра), поэтому различия между картинками — результат сюжета, а не случайности.
'a black cat sitting on a windowsill, kraft cardboard and newspaper fur, turquoise window''a cyclist riding through an old town, coral red coat, newspaper buildings'
'a woman reading a book in an armchair, hair of cut paper, glasses''a bouquet of tulips in a glass jar, newspaper background shapes'
'a sailing boat on the sea, turquoise paper waves, newspaper sails''a man holding a coral red umbrella in the rain, black paper silhouette'
Результаты
Ограничения: Датасет маленький (5 работ), поэтому модель склонна повторять композиции «объект слева и пустой фон». Больше собственных работ с другими сюжетами и ракурсами улучшили бы разнообразие.
Что удалось передать: Серый фон и много пустого места. Палитра: коралловый, бирюзовый, крафтовый, чёрный. Газетная фактура читается как печать. Глянцевые белые блики и тонкая карандашная линия вокруг форм.
Что не получилось: Бессмысленный «газетный» текст; иногда слишком гладкие градиенты вместо плоских слоёв бумаги.
Чем кадры отличаются: Где-то модель ближе к портретным работам (волосы-стружки), а где-то — к «архитектурным» (прямые вырезанные формы).
Связь с идеей: Удалось превратить мой личный приём в универсальный язык, применимый к новым сюжетам.
Описание применения генеративной модел
- Обученная модель. Stable Diffusion XL 1.0 + LoRA, дообученная мной на описанном датасете, для генерации итоговой серии.2. Расширение датасета. Изображения «город», «натюрморт», «танцовщица», «лиса» сгенерированы в Recraft по промптам в стиле моей авторской работы, чтобы получить больше сюжетов для обучения.3. Claude (Anthropic). claude.ai, модель Claude Sonnet 5.5: помощь в составлении промптов для п. 2, подготовка датасета (нарезка на квадраты, подписи), адаптация учебного блокнота, черновик структуры и текста этого лонгрида. Итоговые тексты и выводы отредактированы мной.4. BLIP, Salesforce/blip-image-captioning-base в блокноте оставлен как опциональный шаг и в итоговом обучении не использовался.