Qildo Audio
Аудио → Нейросеть → Музыкальные данные
Исследовательский проект на Python и PyTorch для решения четырёх задач музыкального анализа: разделения гитары на соло и ритм, выделения ведущего и фонового вокала, распознавания нот с формированием гитарных табулатур и определения музыкального ритма.
Научить нейросеть
работать с музыкой
Музыкальная запись содержит множество одновременно звучащих источников: инструменты, основной вокал, бэк-вокал и ритмические элементы.
Qildo Audio объединяет четыре направления обработки аудио в одном проекте. Для каждого направления предусмотрены отдельные модели, обучающие сценарии и инструменты запуска.
Четыре направления
обработки аудио
Гитара
Разделение гитарной партии на соло- и ритм-составляющие с помощью нейросетевой модели.
Вокал
Разделение вокальной партии на ведущий голос и бэк-вокал для дальнейшей обработки.
Табулатуры
Распознавание музыкальных нот и преобразование результатов в гитарную табулатуру.
Ритм
Анализ музыкальных долей и определение сильных долей в аудиозаписи.
Архитектуры, обучаемые с нуля
В проекте используются архитектуры на базе U-Net и PyTorch для решения задач разделения аудиоисточников и анализа музыкального сигнала.
Модели создаются и обучаются с нуля, без использования готовых pretrained-весов. Это позволяет самостоятельно контролировать архитектуру и процесс обучения.
Для работы с аудиосигналом применяется librosa. Обработка организована с учётом разделения длинных записей на чанки, что позволяет работать с композициями длительностью больше одного фрагмента.
От аудиофайла до результата модели
Для каждой задачи реализован отдельный сценарий обработки. Входные аудиофайлы подготавливаются к работе модели, после чего выполняется инференс и формируется соответствующий результат.
Для длинных записей используется обработка фрагментами по 30 секунд. Это помогает ограничивать требования к видеопамяти: в README проекта указана целевая конфигурация до 8 GB VRAM.
CUDA поддерживается как опциональный способ ускорения вычислений.
Отдельные CLI-команды
для каждой задачи
Собственная инфраструктура
для экспериментов
В проекте предусмотрены отдельные модули для обучения моделей, работы с данными и оценки результатов.
Для проверки работоспособности пайплайнов используется синтетический набор данных. Он позволяет выполнять smoke-тесты и проверять запуск инструментов без необходимости использовать большие музыкальные датасеты.
Для достижения качественного результата на реальных композициях потребуется дальнейшее обучение на лицензированных многодорожечных датасетах с курированной разметкой.
Docker и автономный запуск
Для воспроизводимого запуска проекта предусмотрена Docker-конфигурация. Она позволяет подготовить окружение с необходимыми зависимостями и запускать инструменты обработки в изолированной среде.
После сборки Docker-образа инференс может выполняться без подключения к интернету. Это удобно для локальной обработки аудиофайлов и экспериментов с моделями.
Что внутри
Четыре задачи музыкального AI
Qildo Audio — исследовательский проект, объединяющий четыре направления анализа музыкальных записей на базе собственных нейросетевых архитектур.
Реализованы архитектуры моделей, структура для обучения и оценки, отдельные CLI-инструменты, обработка аудио фрагментами и Docker-окружение.
Текущая версия представляет собой прототип. Для получения качественных результатов на реальных музыкальных записях необходимо дальнейшее обучение и тестирование на размеченных датасетах.
Посмотреть код на GitHub →Создадим IT-решение
Нужна интеграция AI, обработка данных или разработка собственного сервиса? Обсудим задачу и подберём подходящий технологический подход.