ProduitView more

Geste & Son

Modules pour l'interaction entre gestes et son

Deux objets Max sont disponibles pour effectuer le suivi de morphologies temporelles basées sur des modèles de Markov.

L’objet voicefollower~ indique en temps réel la progression temporelle d’une interprétation, en comparaison avec un enregistrement audio. Cela permet par exemple de synchroniser divers processus sonores ou visuels avec un texte préenregistré. Il a été expérimenté avec succès pour le théâtre avec la voix parlée ou lors de performances avec la voix chantée.

L’objet motionfollower~ est similaire au voice follower~ (avec une interface similaire) mais fonctionne avec des paramètres gestuels issus par exemple de capteurs. Il permet par exemple d’effectuer un suivi dans le cas d’instruments augmentés ou de battue effectués avec un capteur de mouvement.

 

Principe de fonctionnement

Le VoiceFollower nécessite le chargement d’un fichier son de référence apparaissant dans la fenêtre principale de l’objet. Des marqueurs peuvent être ajoutés à cet enregistrement de référence.

Le MotionFollower nécessite des données de captation de référence apparaissant dans la fenêtre principale de l’objet. Des marqueurs peuvent être ajoutés à cet enregistrement de référence.

La synchronisation fonctionne uniquement si le texte utilisé lors de la performance est identique au texte de référence. Cet objet n’est donc pas un système de reconnaissance vocale, mais un outil de synchronisation se basant sur des textes fixes.

Le message follow permet alors de démarrer la synchronisation temps-réel: le flux audio reçu par l’objet est analysé et apparaît comme se superposant à l’enregistrement de référence. L’objet retourne l’index temporel courant en continu, ainsi que les messages correspondant à chaque marqueur.