MuBu multi-buffer est un conteneur pour les données sonores et de mouvement. Le principe de ce projet est de fournir de la mémoire structurée pour le son et le mouvement enregistrés à travers des interfaces et opérateurs en temps réel en tant qu’objets externes complémentaires pour Max.
Les buffers d’un containeur MuBu associent des pistes multiples de données alignées à des structures de données complexes comme :
- Données audio segmentées avec descripteurs et annotation
- Données de mouvement de captation annotées
- Données d’audio alignées et de mouvement de captation.
Chaque piste d’un MuBu buffer peut représenter un flux de données échantillonné ou une séquence d’événements temporels étiquetés, comme par exemple : des échantillons audio, des descripteurs audio, des données de mouvement de captation, des marqueurs, des segments, et des événements musicaux.
Mis à part SDIF, son format natif, un conteneur MuBu peut importer des données à partir de divers formats : les formats les plus courants (AIFF, RIFF, Ogg/Vorbis, etc.), SDIF, texte, fichiers MIDI standard.
MuBu pour Max est distribué comme un ensemble d’externals fournissant des fonctionnalités pour la visualisation, la manipulation et l’enregistrement des structures de données MuBu :
- mubu … conteneur multi-buffer
- imubu … conteneur avec interface graphique
- mubu.track … accés optimisé à une piste
- mubu.record, mubu.record~ … enregistrement de flux de données et de séquences
- mubu.process … traitement de flux de données
D’autres externals sont dédiés à la modélisation de données et à la synthèse sonore :
- mubu.knn … séléction d’unité k-NN par kD-Tree
- mubu.concat~ … synthèse par segment
- mubu.granular~ … synthèse granulaire
De plus, la distribution inclut un ensemble d’objets expérimentaux de traitement de flux et d’opérateurs d’analyse implémentés comme modules PiPo* :
- pipo.mel … extraction de bandes de fréquences MEL à partir d’un flux audio
- pipo.mfcc … extraction de coefficients cepstrum de fréquences MEL à partir d’un flux audio
- pipo.psy … extraction de marqueurs YIN « pitch synchronous » à partir d’un flux audio
- pipo.mvavrg, pipo.median … filtrage autorégressif à moyenne ajustée sur des flux arbitraires
- pipo.slice, pipo.fft, pipo.bands, pipo.dct … modules bas niveaux pour le calcul des frames audio, Fast Fourier Transform, bandes spectrales, et transformée cosinus discrète.
Les modules PiPo peuvent êtres utilisés comme opérateurs avec les externals mubu.process ainsi qu’avec les externals Max pipo et pipo~ , inclus dans la distribution MuBu for Max.
* PiPo plugin interface for processing objects est un plugin API pour modules de traitement de flux de données multi-dimensionels (voir aussi http://imtr.ircam.fr/imtr/PiPo). La structure des flux de données PiPo est très proche de celle des pistes MuBu, ainsi que du format SDIF.