Gaita Hero et EMTI Fervienza : évaluer le son

En janvier 2011, La Nueva España a couvert mon projet de fin d’études avec un titre qui me fait encore sourire : Gaita Hero, un clin d’œil évident à Guitar Hero. Le nom n’était pas de moi — il venait de la presse —, mais la question de fond que posait le projet, elle, était bien la mienne, et je la poursuis depuis. Un ordinateur peut-il écouter comment vous jouez et vous dire si vous avez bien joué ce que vous deviez jouer ?

Le projet derrière le nom journalistique

En 2011, à l’École d’ingénierie informatique de l’université d’Oviedo, j’ai présenté un projet de fin d’études codirigé avec Balbino Menéndez Suárez, maître sonneur et directeur du groupe Camín de Fierro (Proaza, Santo Adriano et Teverga). L’approche était plus modeste que ne le suggère le titre : nous utilisions une véritable cornemuse asturienne pour vérifier si un élève jouait correctement des partitions de morceaux simples. Le système proposait l’une de ces partitions, l’élève la jouait devant le microphone, et le programme vérifiait l’interprétation par rapport à la référence écrite — avec les limitations techniques propres à 2011, qui ne permettaient guère plus que des morceaux de difficulté basse et des comparaisons relativement simples.

La Nueva España a couvert le projet le 4 janvier 2011, sous l’angle du chalumeau (punteru) de la cornemuse transformé en contrôleur, faisant office de pointeur d’ordinateur — d’où le titre. Quinze ans plus tard, le domaine gaitahero.com est toujours actif, et en 2021 le même nom journalistique a resurgi sous une autre forme : un titre de l’album Fechu’n PLA qui est à la fois chanson et jeu vidéo jouable, pensé comme un clin d’œil direct à ce titre de 2011 — j’en parle plus en détail dans la fiche du projet Gaita Hero — Jeu vidéo et titre musical, dans mes projets.

Je n’évoque pas cela par nostalgie. Je l’évoque parce qu’en 2011 je posais déjà, avec les outils limités de l’époque, un problème que je sais aujourd’hui nommer avec précision.

Le vrai problème : évaluer une interprétation est un problème de MIR

Ce que proposait Gaita Hero, même dans sa version limitée de 2011, n’est pas un problème de jeu vidéo. C’est un problème de Music Information Retrieval (MIR) : étant donné l’audio d’une interprétation réelle et une référence symbolique — une partition, un MIDI —, comment extraire automatiquement en quoi l’exécution s’est écartée de la référence ?

Dans sa forme la plus complète, ce problème peut se décomposer en au moins trois axes :

Gaita Hero, en 2011, ne couvrait pas ces trois axes avec cette sophistication : avec les outils de l’époque, le système se limitait à vérifier si l’élève avait correctement joué une partition de difficulté basse, plus proche d’une vérification de réussites et d’échecs que d’une analyse fine du temps, de la justesse et de la dynamique. Mais il pointait déjà dans cette direction, et chacun de ces trois axes exige d’abord de résoudre, pour l’audio d’entrée, la même tâche de fond que j’ai déjà décrite dans Qu’est-ce que la transcription musicale automatique ? (AMT) : convertir le signal en une représentation symbolique — quelle note, quand elle commence, combien de temps elle dure, avec quelle intensité — avant de pouvoir la comparer à quoi que ce soit. Sans transcription, pas de comparaison possible. Évaluer une interprétation revient, au fond, à transcrire puis à mesurer la distance entre deux représentations symboliques : celle jouée et celle écrite.

La cornemuse asturienne ajoute une difficulté propre à ce problème. C’est un instrument à bourdon continu — le bourdon (roncón) sonne tout le temps, superposé à la mélodie du chalumeau —, ce qui en fait de facto un cas de polyphonie même quand le musicien joue une seule ligne mélodique. Séparer quelle énergie du spectre appartient au bourdon et laquelle à la mélodie n’est pas une nuance mineure : c’est la même difficulté de chevauchement harmonique qui fait que la transcription polyphonique reste, quinze ans après Gaita Hero, un problème non résolu.

Quinze ans, ce n’est pas de la nostalgie, c’est une ligne de recherche

Entre 2011 et aujourd’hui, je n’ai pas laissé ce fil de côté. Ce qui, dans Gaita Hero, était une implémentation concrète pour un projet de fin d’études — avec les limitations techniques propres à 2011 — est devenu, au fil des années, la question qui soutient une bonne partie de mon travail actuel en informatique musicale et de ma recherche doctorale sur l’AMT. La question n’a pas changé : comparer une interprétation réelle à une référence et en extraire une information utile. Ce qui a changé, c’est ce que je sais désormais sur pourquoi c’est difficile, et avec quels outils on peut aujourd’hui aborder la question.

Je continue de travailler sur des outils qui reprennent cette idée. En ce moment, je teste une plateforme personnelle, en essais réels au sein d’EMTI Fervienza, qui poursuit conceptuellement le problème que j’avais posé dans Gaita Hero : comparer une interprétation de cornemuse asturienne ou de tin whistle à une référence et renvoyer des écarts de temps, de justesse et de dynamique. Je n’entrerai pas ici dans le détail technique de cette plateforme — elle est en phase de test et je n’ai pas encore de résultats consolidés à documenter —; ce que je peux affirmer avec certitude, c’est le cadre : c’est un problème de MIR appliqué à l’évaluation d’une interprétation instrumentale, avec quinze ans de continuité derrière lui, pas une idée nouvelle sans racines.

Pourquoi j’ai fondé EMTI Fervienza

EMTI Fervienza est l’école de musique traditionnelle et d’innovation que j’ai fondée en 2026, centrée sur la cornemuse asturienne et le tin whistle. Son site public est emtifervienza.com. Ce n’est pas l’objet de cet article d’expliquer comment on y enseigne — c’est une décision pédagogique qui vit sur le site propre de l’école, pas dans ce cahier technique. Ce qui relève en revanche de labs.tever.es, c’est la partie recherche : Fervienza est aussi le cadre où je teste, avec de vrais élèves et dans des conditions réelles, si les idées que je développe depuis Gaita Hero servent à quelque chose de plus qu’un projet académique clos en 2011.

C’est, pour moi, la bonne lecture du fil complet : un projet de fin d’études de 2011 n’a pas été une expérience isolée qu’on aurait archivée. Ce fut la première tentative — limitée, de son époque — de répondre à une question de recherche en MIR que je continue de travailler quinze ans plus tard, désormais avec un cadre propre où la mettre à l’épreuve.

Bibliographie

Les références sur lesquelles s’appuie cet article, et par où poursuivre la lecture :

• La Nueva España (2011). Couverture de « Gaita Hero ». 4 janvier 2011.
• Gaita Hero. gaitahero.com.
• EMTI Fervienza. emtifervienza.com.
• Benetos, E., Dixon, S., Duan, Z., & Ewert, S. (2019). Automatic Music Transcription: An Overview. IEEE Signal Processing Magazine, 36(1), 20–30.