🎶 Riffusion — модель для генерации музыки на основе Stable Diffusion 🎹 Модель Stable Diffusion взбудоражила умы разработчиков Сета Форсгрена и Айка Мартироса, которые создали свой проект Riffusion для генерации музыки. Почему Riffusion? Название проекта — это слияние двух слов riff («рифф») + diffusion («диффузия»). Настроив модель, Сет и Айк научили ее генерировать спектрограммы, которые затем можно конвертировать в музыку. Как же им это удалось? За основу разработчики взяли Stable Diffusion v1.5, которую затем натренировали на спектрограммах, дополненных текстовыми комментариями. Спектрограмма — это визуальное представление спектра из частот сигнала, изменяющегося во времени. Используя оконное преобразование Фурье (звучит уже страшно), разработчики конвертировали аудиофайлы в спектрограммы. Данный способ позволяет и изображения, сгенерированные моделью, преобразовать в аудио, поэтому Сет и Айк дополнили непосредственно сам процесс создания музыки алгоритмом Гриффина-Лима для восстановления фаз (так как модель генерирует только амплитуду колебаний волны, но не фазы). С подробностями зацикливания аудио отрывков и их интерполяции, а также примерами можно ознакомиться в статье. Ну что, товарищи музыканты, сможет ли Riffusion написать новую «Лунную сонату» или «We will rock you»?