Концепция
При выборе темы я задалась вопросом:
Как можно проиллюстрировать впечатление от музыки? Двенадцать фрагментов классической музыки прошли через цепочку «состояние — впечатление — движение линий — картинка». Слушала нейросеть, рисовала другая, а манеру письма она переняла у Кандинского, который сам называл свои картины импровизациями и композициями.
Закройте глаза и включите любую музыку. Через несколько секунд появится состояние: стало тревожно, тепло, пусто. Потом впечатление: это похоже на дождь, на прощание, на погоню. Если в руке карандаш, рука сама начнёт двигаться: быстрее на громком, мельче на тихом, рывком на резком аккорде. И только потом из этого движения можно сделать картинку.
Исходные изображения
Для обучения модели был собран компактный датасет из 150 изображений картин великого художника — Кандинского.
На этапе подготовки датасета изображения были приведены к единому формату.
Этот путь от звука к изображению известен давно. Психологи просят пациентов рисовать под музыку, потому что линия выдаёт состояние раньше, чем человек находит для него слова. Кандинский строил на этом всю свою теорию. В книге «О духовном в искусстве» он описывает цвета как звуки: жёлтый звучит как труба, синий как виолончель, а зелёный как скрипка в среднем регистре. Его «Впечатление III (Концерт)» написано в январе 1911 года, через несколько дней после концерта Шёнберга в Мюнхене. Сами названия его картин складываются в ту же лестницу: «впечатление» записывает то, что пришло извне, «импровизация» то, что поднялось изнутри, «композиция» то, что собрано сознательно.В этом проекте эта лестница пройдена буквально.
Работа с нейросетью
1 этап — анализ музыкальных произведений
Для проекта выбраны 12 фрагментов классической музыки длительностью около 90 секунд — от Баха и Бетховена до Грига и Бородина. Они взяты из архива Musopen.Каждый фрагмент анализирует CLAP — модель, которая сопоставляет звук с текстовыми описаниями. Каждые 10 секунд она выбирает слова из двух наборов: 16 эмоциональных состояний и 24 образов. Например, ария Баха ассоциируется с нежностью и колыбельной. Но интерпретации не всегда совпадают с контекстом: похоронный марш Бетховена модель описывает как страсть и сильный ветер. Так проявляется разница между звучанием музыки и её культурным смыслом.
2 этап — прорисовка линий на основе милодий
Отдельный скрипт переводит звуковые характеристики в движение линии. Каждые 0,1 секунды он измеряет громкость, яркость спектра и резкость атак. Эти параметры влияют на толщину и скорость линии, её повороты, изломы и паузы. Правила остаются одинаковыми для всех композиций, поэтому различия в рисунках возникают из-за самого звучания. Например, ария Баха образует плотный узел с просветами, а нарастающая музыка Грига — широкие петли.
3 этап — генерация изображений
На финальном этапе Stable Diffusion XL с LoRA-моделью, обученной на 150 абстрактных работах Кандинского, превращает линию в изображение на примере 12 композиций. ControlNet сохраняет её композицию, а слова, выбранные CLAP, задают настроение и помогают определить цветовую палитру. При выборе цветов используются идеи Кандинского о связи цвета и эмоционального состояния; меняются также геометрия и характер мазков.
В результате изображение объединяет три элемента: структуру музыкального звучания, машинные ассоциации и художественный стиль. Это своего рода визуальный протокол одного прослушивания, который можно сравнить с впечатлением человека.
Результат обучения
В результате работы была получена серия абстрактных изображений, созданных на основе музыкальных фрагментов и выполненных в стилистике Кандинского. В большинстве работ сохраняются характерные признаки выбранной художественной манеры: выразительные линии, геометрические формы, контрастные цветовые сочетания и абстрактная композиция. При этом каждое изображение отличается структурой линии и палитрой, которые формируются на основе звуковых характеристик музыки и словесных ассоциаций, выбранных моделью CLAP.
