Обучение генеративной нейросети Stable Diffusion в стиле журнальных выкроек

Концепция</b<

На основе датасета сгенерировать ряд иллюстраций, представляющих, как могли бы выглядеть выкройки для одежды среди разных фентезийных народов.

Ключевой целью проекта было не создание выдуманных выкроек, при помощи которых могли бы быть сшиты разные виды одежды, а имитация обложек, прилагаемых к разным выкройкам.

Описание датасета

За основу изображений, на которых будет создана генеративная модель, были взяты изображения выкроек из коллекции Лондонского колледжа моды, предоставленные онлайн-платформе VADS на основе бесплатной лицензии в учебных и образовательных целях.

Сверху представлена самая первая генерация, созданная при помощи модели. Не смотря на достаточно низкое качество иллюстрации, модель смогла очень удачно попасть в стиль с первой попытки.

Были рассмотрены различные итерации костюмов — женский эльфийский костюм, мужской эльфийский костюм, эльфийская броня. Промпты основывались на Толкиновском образе эльфов, поэтому можно рассмотреть, как хорошо или плохо узнаётся данный образ.

Модель сохранила ключевые черты эльфов — длинные уши, вытянутый силуэт, элегантный образ. Сохранилась природная цветовая палитра, в генерации с бронёй считываются типичные для эльфийской брони элементы.

Результирующие дизайны вышли достаточно простыми — что достаточно тематично, потому что выкройки должны быть простыми и доступными для большинства.

Пример ячейки с промптом:

Следующей фэнтезийной расой стали тифлинги. При разработке данного ряда изображений обычные промпты дополнились негативными — так модель знала, чего избегать при генерации.

Пример ячейки с промптом:

Добавление негативного промпта часто, парадоксально, ухудшало качество изображений, из-за чего для большинства генераций он не использовался.

В целом, на более удачных генерациях модель сохранила основные элементы, на которых строится узнаваемость образа тифлингов — у персонажей острые уши, рога, когти.