Aprendizaje automático aplicado al audio

El aprendizaje automático aplicado al audio cubre el conjunto de técnicas que permiten a un ordenador aprender patrones en señales sonoras a partir de ejemplos, sin que nadie le programe explícitamente qué es un ataque de nota, qué es ruido o cómo suena un acorde mayor. En MIR y AMT estos modelos han desplazado en gran parte a los métodos clásicos basados en reglas acústicas.

Los tipos de modelo más habituales en este campo son las redes neuronales convolucionales (CNN), que tratan el espectrograma como una imagen y aprenden filtros espectrales; las redes recurrentes (RNN/LSTM), que modelan la dependencia temporal entre fotogramas sucesivos del audio; y, más recientemente, los Transformers, que aprenden relaciones de largo alcance en la secuencia y han establecido el estado del arte en muchas tareas de reconocimiento de voz y AMT. La elección de arquitectura depende de la tarea y del tamaño del corpus disponible.

La calidad de cualquier modelo de aprendizaje automático depende en gran medida del corpus con el que se entrena: cantidad de ejemplos, diversidad de condiciones acústicas y calidad de las anotaciones de referencia (ground truth). Mi investigación usa MAESTRO —piano polifónico con anotaciones nota a nota de alta calidad— como corpus de trabajo, con sistemas del estado del arte (Basic Pitch, Onsets & Frames, MT3) como punto de comparación.

La disponibilidad de datos condiciona qué arquitecturas son viables —modelos grandes necesitan datos masivos; modelos pequeños con buenos features acústicos pueden funcionar con menos—. Instrumentos minoritarios como la gaita asturiana están prácticamente ausentes de los grandes corpus públicos del MIR, lo que deja fuera de alcance, por ahora, cualquier entrenamiento directo sobre ese repertorio.