(1) Идея проекта
Мне очень нравятся японские деревни и я подумала, а почему бы не обучить генеративную модель (Stable Diffusion с дообучением LoRA) по изображениям деревень в Японии?
Важно было, чтобы модель смогла передавать атмосферу этих деревень и их устройство, чтобы внешний вид соответствовал действительности, а не противоречил ей.
некоторые использованные мной фотографии в датасете
(2) Обучение модели
Для начала я проверяю состояние GPU.
Дальше настраиваю среду импортируя некоторые библиотеки.
Продолжаю настраивать среду до устанавливая библиотеку diffusers для работы с генеративными моделями, затем загружаю скрипт для обучения модели DreamBooth с LoRA, для настройки модели на личных данных.
Перехожу к работе с датасетом. Загружаю картинки, найденные мной на фотостоке Unsplash по которым должна обучаться модель, а также проверяю, что картинки загрузились корректно.
Затем прописываю чтобы к картинкам автоматически генерировались подписи, при помощи модели BLIP. Он загружает изображения, обрабатывает их, генерирует подписи и сохраняет результаты в JSON-файл.
Перед самим обучением также настраиваю конфигурацию для ускорения обучения моделей с помощью accelerate и захожу в аккаунт на платформе Hugging Face.
Начинаю процесс обучения LoRA устанавливая библиотеку datasets с моими картинками. После запускаю его, указывая определенные параметры: разрешение 512px, batch_size=2, lr=1e-4, 500 шагов с чекпоинтами через 250 и mixed_precision="fp16». Seed ставлю на 0.
Сохраняю обученную модель на платформе Hugging Face для возможного дальнейшего использования.
Указываю, что модель будет работать с данными в формате float16, подключив обученную модель через stabilityai/stable-diffusion-xl-base-1.0. Настраиваю torch.float16 для всех компонентов.
Теперь с обученной LoRA, приступаю к генерации изображений. Первые изображения я получила при использовании простого промта: japanese village scene, traditional houses, sakura trees, misty morning.
При генерации картинок буду использовать 25 шагов инференса, guidance_scale=7.5 и разрешение 1024×1024 для получения высокодетализированного результата.
После тестовой генерации мне стало понятно, что в промте стоит писать более точное описание света и цветов, однако модель показала себя отлично и я приступила к генерации изображений.
(3) Генерация изображений
(1) a realistic photo of japanese village, narrow alleyway lined with traditional wood-panelled houses, soft greyish-blue tones, dimly lit street lamps casting warm glow, serene evening ambiance
(2) a realistic photo of japanese village, well-manicured flower garden surrounding modest teahouse, abundant clusters of peonies, azaleas, and camellias in full bloom, bright spring sun highlighting petals' intricate details