Сказки Нарисованного Мира

Моя давняя любовь к творчеству младшей сестры, к её уникальному, искреннему, чуть наивному, но невероятно выразительному стилю детских рисунков, вдохновила меня на следующий проект. Я захотела обучить генеративную нейросеть Stable Diffusion создавать персонажей именно в этом неповторимом стиле.
Мне всегда было интересно, как бы выглядели иллюстрации к популярным детским сказкам, если бы их автором была именно она, с её особой оптикой и нетронутым взрослым миром видением. Этот проект призван ответить на вопрос: какими бы вышли эти иллюстрации, наполненные её искренним почерком, и как нейросеть сможет перенести эту детскую непосредственность в новые, волшебные образы для знакомых историй. Это будет попытка увидеть мир сказок через призму чистого, неподдельного искусства.

Список использованных в проекте инструментов:

Stable Diffusion — обучение генеративной нейросети под свой стиль; Google Colab — выполнение кода и генераций; Hugging Face — получение токена для обучения нейросети, загрузка полученной модели на сайт; Adobe Photoshop — для обработки фото (улучшение, кадрирование)

Начнем с настройки технической среды: проверяем доступность GPU, инсталлируем необходимые библиотеки, обновляем фреймворк diffusers до последней версии и загружаем обучающий скрипт для DreamBooth под SDXL. Данный этап формирует инфраструктурный фундамент для реализации проекта.

Переходим к подготовке обучающего набора данных, состоящего из 23 рисунков. Для ускорения обработки все изображения заранее приведены к компактному формату 512×512 пикселей. В процессе создаётся целевая директория «cher», предназначенная для загрузки снимков, на основе которых нейросеть будет обучаться распознаванию заданного образа.

Проверим установки, выведя 5 случайных изображений.

Приступаем к созданию текстовых описаний для каждой фотографии в датасете с использованием модели BLIP. К полученным описаниям добавляем единый префикс — «a photo of TOK girl», — который впоследствии будет служить ключевым запросом для генерации новых изображений. После завершения процесса генерации подписей освобождаем оперативную память, чтобы снизить нагрузку на вычислительную среду и обеспечить стабильность дальнейших операций.

Переходим к установке требуемых зависимостей и авторизации в системе Hugging Face. Этот шаг служит страховкой на случай сбоя выполнения кода в Google Colab — после обучения модель можно будет загрузить на платформу и продолжить генерацию изображений непосредственно через веб-интерфейс.

Приступаем к процессу обучения модели. Для оптимизации вычислений и снижения нагрузки на GPU устанавливаем количество шагов обучения: 500 и 250. В параметры также обязательно включаем тот же префикс для текстовых запросов, который использовался при подготовке обучающего датасета. После завершения обучения сохраняем итоговую модель на платформе Hugging Face и получаем прямую ссылку на её страницу.

Все иллюстрации сгенерированы в Goggle Colab