Original size 1140x1600

Генерация изображений с помощью дообученной нейросети Stable Diffusion

PROTECT STATUS: not protected

Описание

В рамках финального проекта было необходимо дообучить нейросеть Stable Diffusion самостоятельно генерировать изображения в заданном стиле. На примере 46 изображений удалось дообучить нейросеть генерировать новые изображения в стиле советской мозаики.

big
Original size 4865x2840
big
Original size 4865x2840

Примеры исходных изображений для обучения нейросети

Результат

0
1/6

Сгенерированные цветы

Сгенерированные изображения представляют из себя серию иллюстраций, на которых изображены цветы, деревья и животные. Заданный стиль мозаики успешно передался в получившихся картинках.

Original size 4865x2840

Сгенерированные деревья с цветным фоном

Original size 4865x2840

Сгенерированные коты

Описание процесса дообучения

  1. Подготовка Окружение: Kaggle. Библиотеки: Были установлены diffusers, transformers, accelerate, peft, bitsandbytes для оптимизации памяти. Скрипт обучения: Загружен train_dreambooth_lora_sdxl.py из репозитория Hugging Face по совету преподавателя.
  2. Данные Датасет: Использованы изображения советских мозаик. Разметка: Генерация описания «photo collage in RUSSIAN MOSAIC style».
  3. Обучение Модель: Дообучение SDXL 1.0 + LoRA (легковесные адаптеры). Параметры: Разрешение изображений: 512×512. Batch size: 2 (накопление градиентов за 3 шага). Шагов обучения: 500. В процессе генерации изображений задавался определенный промпт. (prompt = «photo collage in RUSSIAN MOSAIC style, pink mosaic with trees»).
  4. Результат Выход: LoRA-адаптеры сохранены в папку rumosaica_LoRA. Публикация: Модель загружена в Hugging Face Hub для общего доступа.

Во время работы над проектом была использована только нейросеть Stable Diffusion.

Папка с кодом проекта

Генерация изображений с помощью дообученной нейросети Stable Diffusion
Project created at 10.04.2025
lpudesign
LPU — Lovely Professional University, India’s Best Private University in Punjab. A university with the infrastructure of global standards, internationally benchmarked curricula, rich diversity of students, innovative pedagogy for participative and experiential learning with focus on research, innovation and entrepreneurship
design
object design
art
fashion
environment
game design
illustration
animation
cgi
sound