← Все кейсы
ITоднушка / Кейс

Qildo Audio

Аудио → Нейросеть → Музыкальные данные

Исследовательский проект на Python и PyTorch для решения четырёх задач музыкального анализа: разделения гитары на соло и ритм, выделения ведущего и фонового вокала, распознавания нот с формированием гитарных табулатур и определения музыкального ритма.

01 Audio
→
02 AI Model
→
03 Analysis
→
04 Output
Qildo Audio PyTorch
Music AI Toolkit
separation transcription beat detection
Задача

Научить нейросеть
работать с музыкой

Музыкальная запись содержит множество одновременно звучащих источников: инструменты, основной вокал, бэк-вокал и ритмические элементы.

Qildo Audio объединяет четыре направления обработки аудио в одном проекте. Для каждого направления предусмотрены отдельные модели, обучающие сценарии и инструменты запуска.

04 Задачи музыкального AI Разделение источников, транскрипция и анализ ритмической структуры.
Возможности

Четыре направления
обработки аудио

01

Гитара

Разделение гитарной партии на соло- и ритм-составляющие с помощью нейросетевой модели.

02

Вокал

Разделение вокальной партии на ведущий голос и бэк-вокал для дальнейшей обработки.

03

Табулатуры

Распознавание музыкальных нот и преобразование результатов в гитарную табулатуру.

04

Ритм

Анализ музыкальных долей и определение сильных долей в аудиозаписи.

Нейросетевые модели

Архитектуры, обучаемые с нуля

В проекте используются архитектуры на базе U-Net и PyTorch для решения задач разделения аудиоисточников и анализа музыкального сигнала.

Модели создаются и обучаются с нуля, без использования готовых pretrained-весов. Это позволяет самостоятельно контролировать архитектуру и процесс обучения.

Для работы с аудиосигналом применяется librosa. Обработка организована с учётом разделения длинных записей на чанки, что позволяет работать с композициями длительностью больше одного фрагмента.

Model configuration PyTorch
architecture U-Net
training From scratch
audio format WAV / 44.1 kHz
processing 30 sec chunks
Основные направления
Source separation Vocal separation Note transcription Beat detection
AI
Обработка данных

От аудиофайла до результата модели

Для каждой задачи реализован отдельный сценарий обработки. Входные аудиофайлы подготавливаются к работе модели, после чего выполняется инференс и формируется соответствующий результат.

Для длинных записей используется обработка фрагментами по 30 секунд. Это помогает ограничивать требования к видеопамяти: в README проекта указана целевая конфигурация до 8 GB VRAM.

CUDA поддерживается как опциональный способ ускорения вычислений.

Инструменты

Отдельные CLI-команды
для каждой задачи

Qildo Audio CLI Python Toolkit
Команда 01 separate.py
Команда 02 transcribe.py
Команда 03 beats.py
Среда Python
separate.py Разделение музыкальных источников Audio
transcribe.py Распознавание нот и табулатуры Notes
beats.py Определение долей и ритма Rhythm
Обучение и оценка

Собственная инфраструктура
для экспериментов

В проекте предусмотрены отдельные модули для обучения моделей, работы с данными и оценки результатов.

Для проверки работоспособности пайплайнов используется синтетический набор данных. Он позволяет выполнять smoke-тесты и проверять запуск инструментов без необходимости использовать большие музыкальные датасеты.

Для достижения качественного результата на реальных композициях потребуется дальнейшее обучение на лицензированных многодорожечных датасетах с курированной разметкой.

ML Полный цикл экспериментов Подготовка данных, обучение архитектур, инференс и оценка метрик.
Развёртывание

Docker и автономный запуск

Для воспроизводимого запуска проекта предусмотрена Docker-конфигурация. Она позволяет подготовить окружение с необходимыми зависимостями и запускать инструменты обработки в изолированной среде.

После сборки Docker-образа инференс может выполняться без подключения к интернету. Это удобно для локальной обработки аудиофайлов и экспериментов с моделями.

Deployment Docker
environment Container
inference Offline
acceleration CUDA optional
Возможности запуска
Изолированное окружение Локальная обработка CLI-инструменты
Технологии

Что внутри

01 Python 3.10+
02 PyTorch Deep Learning
03 librosa Audio processing
04 U-Net Neural networks
05 CUDA GPU acceleration
06 Docker Containerization
07 NumPy Data processing
08 CLI Command line tools
Результат

Четыре задачи музыкального AI

Qildo Audio — исследовательский проект, объединяющий четыре направления анализа музыкальных записей на базе собственных нейросетевых архитектур.

Реализованы архитектуры моделей, структура для обучения и оценки, отдельные CLI-инструменты, обработка аудио фрагментами и Docker-окружение.

Текущая версия представляет собой прототип. Для получения качественных результатов на реальных музыкальных записях необходимо дальнейшее обучение и тестирование на размеченных датасетах.

Посмотреть код на GitHub →
Есть идея для проекта?

Создадим IT-решение

Нужна интеграция AI, обработка данных или разработка собственного сервиса? Обсудим задачу и подберём подходящий технологический подход.

Обсудить задачу →