Modèles audio génératifs profonds et IA dans Max et Ableton Live
Dans le cadre de ses recherches sur les modèles génératifs profonds, les travaux du groupe ACIDS de l'équipe Représentations musicales de l'Ircam s'expriment dans la conception de plusieurs outils d'IA de pointe pour la synthèse musicale et créative. L’objectif est de fournir de nouveaux outils pour modéliser la créativité musicale et étendre les possibilités sonores grâce à des approches d’apprentissage automatique. Dans ce contexte, l’équipe expérimente des modèles d’IA profonde appliqués aux matériaux créatifs, visant à développer l’intelligence créative artificielle. Au cours des dernières années, elle a développé plusieurs objets visant à intégrer ces recherches directement sous forme d'objets temps réel utilisables dans MaxMSP et Ableton Live. Le groupe ACIDS a produit de nombreux prototypes d’instruments innovants et de modèles audio profonds intégrés légers. Les chercheurs et chercheuses proposent désormais notamment le RAVE VST, la librairie nn~ et le système FlowSynth.
Objectifs pédagogiques
A l'issue de ce cours, les participants et participantes seront capables d'utiliser les différents environnements d'outils d'IA générative existants, et notamment d'aller plus loin que les possibilités existantes en entraînant leurs propres modèles. L'objectif est également de fournir les notions de base permettant d'inclure des modèles profonds open source existants dans leurs workflows créatifs.
Public concerné
Compositeurs, compositrices, musiciens, musiciennes, enseignants, enseignantes, interprètes, chercheurs, chercheuses.
Prérequis
- Les participantes et participants doivent être à l'aise avec les environnements de MAO (MaxMSP, Ableton Live) et avoir une expérience dans la composition avec ces outils.
- Une connaissance de niveau débutant du logiciel Max est fortement recommandée. Si l’apprentissage est autonome, nous vous suggérons de faire au moins les 10 premiers tutoriaux.
- Une connaissance de Python de niveau débutant est fortement recommandée.
- La connaissance des bases du traitement du signal est un plus.
- Une expérience en mathématiques et en programmation informatique est un plus.
Durée de la formation et modalités d’organisation
30h, du lundi 4 au vendredi 8 novembre 2024, 10h-13h et 14h30-17h30
10 étudiants maximum.
Au cas où elle ne pourrait avoir lieu en présentiel, la formation ne pourra pas être maintenue.
Programme de la formation
Certains détails du programme de la formation sont susceptibles d’être révisés en fonction des évolutions des logiciels sur lesquelles elles se fondent.
Après une brève introduction sur les concepts d'intelligence artificielle et d'apprentissage automatique, les participants et participantes plongeront successivement dans les mécanismes et l'utilisation concrète de nn~ et RAVE, à la fois pour utiliser les modèles, mais aussi pour pouvoir entraîner leurs propres modèles. Tous les outils seront abordés tant de manière conceptuelle (matin) que par la pratique (après-midi), en binôme et collectivement. Le dernier jour de la formation sera consacré à une journée complète d'expérimentation.
Lundi
| Matin | Introduction générale : Concepts de base de l'intelligence artificielle et de l'apprentissage automatique pour la musique Comprendre les bases des modèles latents et la notion d'apprentissage des représentations Modèles existants : synthèse audio neuronale profonde et introduction au transfert de timbres en temps réel RAVE : De Python à VST |
| Après-midi (RAVE VST) | Application et prise en main Cas d'utilisation |
Mardi
| Matin | Modèles existants (partie 2) : la bibliothèque nn~ et développer son propre flux de travail créatif Comment former de nouveaux modèles profonds ? |
| Après-midi (nn~) | Séance pratique en binôme Former vos propres modèles |
Mercredi
| Matin | Intégration de modèles profonds dans Max4Live : utiliser des modèles profonds open source en Python et configuration d'un serveur OSC entre Max et Python Bases des appareils Max4Live |
| Après-midi (Deep M4L) | Environnement et concepts Maîtriser la communication |
Jeudi
| Matin | Extension des bibliothèques existantes Concepts fondamentaux des externals Intégration de modèles à l'intérieur des externals |
| Après-midi | Travaux pratiques d'extension : partage, débriefing |
Vendredi
| Matin | Session pratique générale |
| Après-midi | Session pratique et débriefing général Performance finale |
Moyens pédagogiques et techniques
- Salle de formation équipée d'ordinateurs iMac avec logiciels, écouteurs, claviers MIDI et microphones. Les séances pratiques se dérouleront dans un studio de l'IRCAM.
- Exigences techniques : il est demandé à chaque participant d'apporter sa propre base de données de sons (ou plusieurs si besoin) pour travailler avec RAVE et nn~. Celui-ci servira à alimenter le dispositif de formation afin de produire un nouveau modèle. Toutes les données sont bonnes à utiliser, quel que soit le répertoire (musique personnelle, matériel totalement exogène), mais un ensemble de sons relativement homogènes en termes de timbre et de type d'instruments facilitera l'apprentissage. Il est recommandé que la durée totale de l’ensemble combiné de tous les sons soit supérieure à 2 heures d’audio. Pour les séances pratiques d’improvisation, nous formerons des binômes. Il vous sera également demandé d'utiliser votre propre source d'entrée, qui peut être n'importe quel instrument, synthétiseur ou source acoustique.
- Format de formation : alternance d'explications théoriques et d'exercices pratiques
Supports pédagogiques : présentations vidéo-projetées, supports de cours avec références bibliographiques, documentation des logiciels - Les logiciels ne sont pas inclus dans le tarif de la formation et non fournis à l’issue de la formation.
Suivi
- Accueil le premier jour de la formation à partir de 9h45
- Contrôle du suivi par la signature d’une feuille de présence pour chaque demi-journée
- Remise d’un certificat de réalisation, qui intègre les résultats de l’évaluation
Évaluation
- Évaluation des acquis et des savoir-faire sous forme de projet créatif ouvert.