Salut, Bienvenue par ici.
Sympa cette idée !!
Il y a la partie écoute. Là, on peut imaginer un micro tout simple. Il faut une carte son pour transformer le signal analogique en données numériques. On obtient en général un fichier .wav.
Ensuite la partie analyse du son écouté. Là, c'est le plus compliqué. Il faut le filtrer. On peut détecter des crêtes d'onde (des pics de volume sonore). On peut aussi analyser les fréquences avec des algo FFT. Avec un outil comme ffmpeg, à partir d'un fichier wave ou mp3, on obtient un fichier d'échantillons représentatif du morceau. Sur chaque ligne, les fréquences de l'échantillon et leur hauteur.
Ça me semble un bon point de départ pour faire bosser un outil de dessin à partir de là.
A toi de voir quel geste pour quelle fréquence dominante et pour quel volume sonore.
Là, on arrive au plotter vu plus haut.
Le premier truc qui semble coincer, c'est la rapidité que le bras ou de l'instrument doit avoir pour réagir à la musique. Mais il ne faut pas s'arrêter sur ce point. On peut imaginer que le système écoute, mémorise des gestes et les applique à son rythme sur le papier dans un 2e temps.
Tout ceci est complètement théorique de ma part. Je sais que ça existe.