Я решила научить Stable Diffusion генерировать изображения в моем авторском стиле рисования, собрав для этого базу из 30 рисунков, в которых техника и настроение имеют много общего.
Основной задачей было научить модель повторять неровную живую линию, немного непропорциональную геометрию и основные паттерны рисования
Перед нейросетью стояла задача генерировать новых персонажей в соответствии с моим стилем. В финальной серии изображения получились достаточно разными по цветовой гамме, по настроению и по геометрии самих персонажей. Это результат моих экспериментов с промптами и с силой LoRa. В серии все персонажи неидеальны, что соответствует задаче. Однако линия иногда становится значительно ровнее и геометричнее, чем в моих изображениях. В некоторых изображениях линия становится практически хаотичной и начинает сильнее напоминать мои работы, но, к сожалению, линии распределяются не совсем верно, и от этого у героя появляется неестественная форма рта, глаз и других частей тела. В то же время это является плюсом — одной из задач обучения как раз было создание уникальных и непропорциональных форм.
Основные задачи были выполнены: генеративная модель понимала основную суть работы с моим стилем. Стремилась сделать линию живее и хаотичнее, не делать пропорции лица идеальными, создавать уникальные контуры. Однако результат далек от идеала: нейросеть понимала мой запрос словесно (понимала описание каждой картинки из моего архива), но не понимала этого визуально, поэтому большая часть изображений далека от моей стилистики.
Для процесса обучения каждой из картинок было присвоено небольшое описание, а так же общее описание часто повторяющихся паттернов. После самого обучения модели происходило тестирование разных мощностей LoRa (почти все финальные изображения сгенерированы на 0.5 — 0.7) и подбор промптов для наиболее удачных генераций. Суммарно было создано около 25 изображений, но в финальную серию вошло 11.
