Qué es el Music Information Retrieval (MIR)

Cada vez que Shazam reconoce una canción en tres segundos, o un reproductor separa la voz de la instrumental, o mi propio trabajo convierte una grabación en partitura, está pasando lo mismo por debajo: Music Information Retrieval (MIR). No es una herramienta ni un producto: es el campo de investigación que hace posible todo eso.

Qué es el MIR

El Music Information Retrieval es el campo de la informática que estudia cómo extraer, organizar y recuperar información a partir de señales musicales —ya sea audio grabado o partitura simbólica. La pregunta de fondo es siempre la misma: dado un fragmento de música, ¿qué se puede saber de él de forma automática?

Bajo esa pregunta caben tareas muy distintas:

Una aclaración necesaria, porque en España la sigla genera confusión: el MIR del que hablo no es el MIR médico (Médico Interno Residente). Es una disciplina de la informática y las ciencias de la computación, con su propia comunidad de investigación —la International Society for Music Information Retrieval (ISMIR), fundada en 2000— y su propia conferencia anual, que es la referencia del campo.

Dónde encajan MIDI, MusicXML y AMT dentro del MIR

Si ya has leído los artículos anteriores de este blog sobre MIDI, MusicXML o transcripción automática, probablemente los tratabas como piezas sueltas. No lo son: son parte del mismo campo, con roles distintos.

MIDI y MusicXML son formatos de salida: cuando un sistema MIR resuelve la tarea de transcripción, el resultado —notas, tiempos, alturas— tiene que representarse de alguna forma legible por máquina y por persona. MIDI lo hace pensado para reproducir o secuenciar; MusicXML, pensado para imprimir una partitura editable. Ninguno de los dos hace MIR por sí mismo: son el vocabulario en el que se expresa uno de sus resultados.

AMT (transcripción automática de música) es, dentro del MIR, la tarea concreta que más me interesa: convertir audio en representación simbólica. Es solo una de las tareas de la tabla de arriba, aunque es la que ocupa el centro de mi investigación doctoral.

Y la inteligencia artificial —de la que ya hablé en un artículo anterior— es, hoy, la técnica dominante para resolver la mayoría de estas tareas: redes neuronales entrenadas con grandes corpus de audio anotado. Pero el MIR es más antiguo que el auge de esas técnicas —ISMIR lleva desde el año 2000— y no todas sus tareas dependen de aprendizaje profundo: el reconocimiento de tempo, por ejemplo, se resuelve bien con métodos de procesamiento de señal clásico, sin necesidad de un modelo entrenado.

Mi investigación dentro del MIR

Mi trabajo doctoral se centra en transcripción automática de música polifónica: piezas donde suenan varias notas —y a menudo varias voces— a la vez, el caso difícil dentro de la AMT. Trabajo sobre piano, con los sistemas actuales del estado del arte como punto de partida —Basic Pitch, Onsets & Frames, MT3 entre ellos—, y mi foco es entender dónde y por qué fallan esos sistemas nota a nota, no solo repetir su número final de acierto. Un modelo que acierta el 90% de las notas puede estar fallando siempre en el mismo tipo de pasaje —acordes densos, notas muy cortas, pedal sostenido— y esa distinción importa más que la cifra global.

A partir de ahí exploro representaciones de la señal de audio alternativas a las que usan esos modelos, buscando si una forma distinta de mirar el audio —antes de que entre al modelo— ayuda a corregir alguno de esos fallos sistemáticos. Es trabajo de investigación en curso: parte de las hipótesis que pruebo se confirman, otras se descartan, y ambas cosas son resultado válido en la forma en que documento este trabajo en abierto.

Bibliografía

Las referencias en las que se apoya este artículo y por dónde seguir leyendo:

• Müller, M. (2015). Fundamentals of Music Processing: Audio, Analysis, Algorithms, Applications. Springer.
• International Society for Music Information Retrieval. ismir.net — conferencia anual del campo y Transactions of the International Society for Music Information Retrieval (TISMIR), su revista de acceso abierto.