MusicLM: новая веха в музыкальной истории 🎼 Разработчики из Google Research выпустили доклад о модели MusicLM, которая генерирует музыку на основе текстовых подсказок, а также открыли доступ к датасету MusicCaps, в который входит 5.5k пар текст + музыка. Такое мы уже где-то видели! В отличие от Riffusion, модели для генерации музыки на основе Stable Diffusion, о которой мы писали ранее, MusicLM генерирует музыку высокого качества, а также может основываться не только на тексте, который описывает предназначение трека, настроение и инструменты, но и мелодию, позволяя также регламентировать каждый из этих аспектов указанием тайминга. Например, вы можете задать последовательную смену настроения композиции: начать с меланхоличной мелодии, перейти к бодро-танцевальной и закончить на симфоническом буйстве в стиле саундтреков Marvel. По ссылке на исследование вы также можете ознакомиться с интересными примерами генерации музыки на основе описаний картин, которые словно воссоздают полотна в аудио контексте, давая вам возможность представить, как бы «звучала» та или иная работа художника. Где попробовать запустить? Несмотря на релиз доклада и датасета, сама модель MusicLM выложена в открытый доступ еще не была, и, по слухам, в ближайшее время не будет. Вероятно, для релиза модели нужно подготовить данные о том, на чем ее обучали, что может привести к всплеску исков со стороны правообладателей о нарушении авторского права. Что вы думаете о развитии AI-технологий? Оставляйте ❤️, если вам нравится заметный прорыв в этом направлении, и 😱, если стремительное развитие нейросетей вас пугает или тревожит.