Original size 760x1078

Кирилл Кто. Генерация изображений при помощи нейросети Stable Diffusion

PROTECT STATUS: not protected

Описание идеи

В рамках финального проекта было необходимо дообучить нейросеть Stable Diffusion самостоятельно генерировать изображения в заданном стиле.

Было принято решение для стиля использовать работы современного художника Кирилл Кто (Лебедев).

Художник активно работает с цветами. Оформляя свои работы в неком цветном детском визуале. Зачастую используются надписи с социальными, абсурдными и юмористическими надписями.

На примере 156 изображений удалось дообучить нейросеть генерировать новые изображения в данном стиле.

0
1/5

Примеры из Dataset’a

Результат

0
1/5

Окраина Москвы. Влияние стиля от 50% до 100%

Рассмотрим как будет изменяться изображение с использованием различной доли стиля от Lora модели. Так как художник пишет свои работы в достаточно абстрактном формате, мы видим как с увеличением влияния стиля пропадают узнаваемые образы и все уходит в больший сюреализм.

0
1/4

Елка во временах года. Лето — Осень — Зима — Весна

Рассмотрим времена года. У автора часто встречается тема ели. Визуальный образ вечнозеленого дерева вчтречается на многих его работах.

Давайте создадим цикл произведений с елью с различными состояниями в разные времена года. А также дабавим в промт ассоцирующую эмоцию, чтобы сделать изображения более близкими к постмодернистким решениями автора.

Описание процесса дообучения

Подготовка Окружение: Google colab. Библиотеки: Были установлены diffusers, transformers, accelerate. также установлены open-cv, requests для парсинга изображений. Установлен основной фремворк torch и сопутсвующие зависимости

Данные Датасет: Использованы изображения современного росссийского художника Кирилл Кто. Разметка: Генерация описания «image in KIRILL KTO style».

Обучение Модель: Дообучение SDXL 1.0 + LoRA. Параметры: Разрешение изображений: 512 (исходные изображения были резайснуты через open-cv) Batch size: 2 (на вход модели за один шаг передается тензор из 2 изображений) Шагов обучения: 500.

В процессе генерации изображений задавался определенный промпт. (prompt = «image in KIRILL KTO style»)

Результат Выход: LoRA-адаптеры сохранены в папку kirillkto_LoRA. Публикация: Модель загружена в Hugging Face Hub в репозиторий

Во время работы над проектом использовалась только Stable Diffusion.

Папка с кодом и датасетом

Кирилл Кто. Генерация изображений при помощи нейросети Stable Diffusion
Project created at 10.04.2025
lpudesign
LPU — Lovely Professional University, India’s Best Private University in Punjab. A university with the infrastructure of global standards, internationally benchmarked curricula, rich diversity of students, innovative pedagogy for participative and experiential learning with focus on research, innovation and entrepreneurship
design
object design
art
fashion
environment
game design
illustration
animation
cgi
sound