Original size 1140x1600

Обучение генеративной модели на основе фотографий схожей стилистики

PROTECT STATUS: not protected

Концепция

Я видела, что многие за цель проекта взяли воссоздание стиля одного художника, то есть рисованные работы. Мне же захотелось посмотреть справиться ли нейросеть с более прикладным творческим стилем.

Референсы

big
Original size 1600x1600

Процесс обучения

Датасет для обучения я собрала на пинтерест, выбирая приглянувшиеся мне фотографии, в подходящем стиле. Для самого процесса обучения я исбользовала предложенный в курсе код SDXL DreamBooth LoRA. Промпты я использовала простые, как если бы описывала простую фотографию. Например: «women in a pink and green scarf».

Код: https://disk.yandex.ru/d/rad6wYcBgbBDCQ

Результат

Original size 1024x1024

Заключение

Работая с нейросетью надо четко понимать в чем заключается особенность выбранного стиля. В данной серии удачными выходили только те генерации, где в промте я четко указывала цвет предмета, ведь только цвет в референсах был сделан нитками. По итогу стиль передать скорее удалось, чем нет. Но некоторых артефактов, таких как: лишние руки, кривые глаза и вечную попытку выдать мне насколько детей на фотографии, а не одного как было в промте, избежать не удалось.

Обучение генеративной модели на основе фотографий схожей стилистики
Project created at 10.04.2025
lpudesign
LPU — Lovely Professional University, India’s Best Private University in Punjab. A university with the infrastructure of global standards, internationally benchmarked curricula, rich diversity of students, innovative pedagogy for participative and experiential learning with focus on research, innovation and entrepreneurship
design
object design
art
fashion
environment
game design
illustration
animation
cgi
sound