Tever
FR

Essai · Informatique musicale

Qu'est-ce que le Music Information Retrieval (MIR)

Le domaine derrière la transcription automatique, la reconnaissance d'accords et Shazam. Ce qu'est le MIR et comment MIDI, MusicXML et AMT s'y intègrent.

Infographie sur fond blanc : au centre un cercle portant l'étiquette «MIR», d'où partent quatre flèches orange vers quatre cases intitulées «transcription automatique», «reconnaissance d'accords», «séparation de sources» et «identification de morceau», dessinées à l'encre foncée sans autre couleur que l'orange de l'accent.

Chaque fois que Shazam reconnaît une chanson en trois secondes, qu’un lecteur sépare la voix de l’instrumental, ou que mon propre travail transforme un enregistrement en partition, la même chose se produit en dessous : le Music Information Retrieval (MIR). Ce n’est ni un outil ni un produit : c’est le domaine de recherche qui rend tout cela possible.

Qu’est-ce que le MIR

Le Music Information Retrieval est le domaine de l’informatique qui étudie comment extraire, organiser et récupérer de l’information à partir de signaux musicaux — qu’il s’agisse d’audio enregistré ou de partition symbolique. La question de fond est toujours la même : étant donné un fragment de musique, que peut-on en savoir de façon automatique ?

Sous cette question se rangent des tâches très différentes :

TâcheCe qu’elle répond
Reconnaissance d’accordsQuelle harmonie sonne à chaque instant
Séparation de sourcesIsoler la voix de la guitare dans un mixage
Identification du tempoÀ quelle vitesse va le morceau
Classification de genreÀ quel style il appartient
Récupération par empreinte acoustiqueQuelle chanson c’est (Shazam)
Transcription musicale automatique (AMT)Quelles notes sont jouées

Une précision nécessaire, car en Espagne le sigle prête à confusion : le MIR dont je parle ici n’est pas le MIR médical (Médico Interno Residente, l’internat de médecine en Espagne). C’est une discipline de l’informatique, avec sa propre communauté de recherche — l’International Society for Music Information Retrieval (ISMIR), fondée en 2000 — et sa propre conférence annuelle, qui fait référence dans le domaine.

Où se situent MIDI, MusicXML et AMT au sein du MIR

Si vous avez déjà lu les articles précédents de ce blog sur MIDI, MusicXML ou la transcription automatique, vous les traitiez sans doute comme des pièces isolées. Ce n’est pas le cas : elles font partie du même domaine, avec des rôles distincts.

MIDI et MusicXML sont des formats de sortie : quand un système MIR résout la tâche de transcription, le résultat — notes, durées, hauteurs — doit être représenté d’une manière lisible par la machine et par une personne. MIDI le fait en pensant à la reproduction ou au séquençage ; MusicXML, en pensant à une partition imprimée et modifiable. Aucun des deux ne fait de MIR par lui-même : ce sont le vocabulaire dans lequel s’exprime l’un de ses résultats.

AMT (transcription musicale automatique) est, au sein du MIR, la tâche précise qui m’intéresse le plus : convertir de l’audio en représentation symbolique. Ce n’est qu’une des tâches du tableau ci-dessus, même si c’est celle qui occupe le centre de ma recherche doctorale.

Et l’intelligence artificielle — dont j’ai déjà parlé dans un article précédent — est, aujourd’hui, la technique dominante pour résoudre la plupart de ces tâches : des réseaux de neurones entraînés sur de grands corpus d’audio annoté. Mais le MIR est antérieur à l’essor de ces techniques — ISMIR existe depuis 2000 — et toutes ses tâches ne dépendent pas de l’apprentissage profond : la reconnaissance du tempo, par exemple, se résout bien avec des méthodes classiques de traitement du signal, sans besoin de modèle entraîné.

Ma recherche au sein du MIR

Mon travail doctoral porte sur la transcription musicale automatique polyphonique : des morceaux où plusieurs notes — et souvent plusieurs voix — sonnent en même temps, le cas difficile au sein de l’AMT. Je travaille sur le piano, en prenant comme point de départ les systèmes actuels de l’état de l’art — Basic Pitch, Onsets & Frames, MT3 entre autres — et mon axe est de comprendre où et pourquoi ces systèmes échouent note par note, et pas seulement de répéter leur taux de réussite global. Un modèle qui trouve 90 % des notes correctes peut échouer systématiquement sur le même type de passage — accords denses, notes très courtes, pédale soutenue — et cette distinction compte plus que le chiffre global.

À partir de là, j’explore des représentations du signal audio alternatives à celles qu’utilisent ces modèles, en cherchant si une façon différente de regarder l’audio — avant qu’il n’entre dans le modèle — aide à corriger certains de ces échecs systématiques. C’est un travail de recherche en cours : une partie des hypothèses que je teste se confirment, d’autres sont écartées, et les deux constituent un résultat valide dans la façon dont je documente ce travail en accès ouvert.

Bibliographie

Les références sur lesquelles s’appuie cet article, et par où poursuivre la lecture :

Questions fréquentes

  • ¿Qué diferencia hay entre AMT y MIR?

    MIR —Music Information Retrieval— es el campo que estudia cómo extraer información útil de la señal musical de forma automática: detectar el tempo, reconocer acordes, separar instrumentos, identificar una canción. AMT —Automatic Music Transcription— es una tarea concreta dentro de MIR: convertir una grabación de audio en su representación simbólica (notas, duraciones, instrumentos). La AMT es la tarea central de mi investigación doctoral.

  • ¿Qué es el Music Information Retrieval (MIR)?

    El Music Information Retrieval (MIR) es el campo de la informática que estudia cómo extraer, organizar y recuperar información a partir de señales musicales. Abarca tareas muy distintas: reconocimiento de acordes, separación de fuentes (aislar la voz de la guitarra en una mezcla), identificación del tempo, clasificación de género, recuperación de piezas similares por huella acústica y, como tarea central para mi trabajo, transcripción automática de música. Si alguna vez has visto que Shazam reconoce una canción en tres segundos, estás viendo MIR aplicado.

    Una aclaración necesaria: MIR no es el MIR médico (Médico Interno Residente). En España la coincidencia de siglas genera confusión frecuente. El MIR del que hablo aquí no tiene relación con la especialización médica; es una disciplina de la informática y las ciencias de la computación, con su propia comunidad de investigación, sus conferencias (ISMIR) y sus corpus de referencia.

    Mi investigación se encuadra en MIR aplicado a la transcripción automática de música (AMT): trabajo sobre piano polifónico, analizando dónde y por qué fallan los sistemas actuales del estado del arte. El repertorio de gaita asturiana —escaso en los benchmarks internacionales, sesgados hacia música pop occidental en temperamento igual— es un interés de investigación aparte, no mi corpus de trabajo actual.