Обучение генеративной модели Stable Diffusion стилю спрайтов Hades

Одна из моих любимых серий игр — Hades, благодаря ее харизматичному сеттингу мифологии Древней Греции и особенно уникальному визуальному стилю. Несмотря на широкое разнообразие персонажей и образов, выборка мифологических персонажей все еще ограничена, и мне стало интересно представить, как еще могли бы выглядеть другие герои мифов и легенд Древней Греции.

Выполнив приготовления (проверка GPU, загрузка необходимых библиотек), я загрузила датасет из 79 изображений — официальных концептов и спрайтов Hades и Hades 2.

После этого, при помощи BLIP для изображений были сгенерированы промпт-описания для дальнейшего обучения модели.

После этого, я приступила к обучению модели с разрешением 512 и количеством шагов обучения 500, чтобы иметь возможность несколько раз переобучить модель без значительных затрат по времени.

Прежде, у Тритона была предыдущая итерация, в белом цвете и попытках создать бога-русала.

Модель не справлялась с промптом и генерировала только портрет, поэтому пришлось подойти к оформлению промпта по другому и переписать его.