Composer l'intéraction musicale humain-machine | Jérôme NIKA | TEDxÉcoleCentraleLyon

Composer l'intéraction musicale humain-machine | Jérôme NIKA | TEDxÉcoleCentraleLyon



[Musique] bonjour alors on entend de plus en plus dans la presse le fait que l'intelligence artificielle devient créative qu'elle est capable de recréer de la musique de reproduire fidèlement le style d'un compositeur et sa première bourse est pas encore complètement sûr et deuxièmement ça va pas être tout à fait le sujet qu'on va aborder ici même s'il ya plein de mots clés en commun à savoir apprentissage automatique technologie créativité musicale en effet là on va plutôt parler de chercher la connexion entre l'humain et la machine plutôt que de chercher toujours plus d'autonomie de la machine et puis on va s'intéresser plus à créer produire de la musique plutôt que recréer reproduire de la musique l'idée c'est de se dire que c'est pas le modèle qui créera de la musique nouvelle mais c'est les nouveaux usages qu'on pourra faire de ce modèle donc si on veut faire de la musique nouvelle ou moins pompeusement offrira des musiciens à des improvisateurs à des compositeurs la possibilité d'explorer des nouvelles directions on pense que c'est en introduisant des nouvelles pratiques et pour introduire des nouvelles pratiques il faut des nouveaux instruments donc moi et mes collaborateurs chercheurs musiciens on peut dire qu'on est en quelque sorte des luthiers numérique et qu'on essaye de créer des agents improvisateurs des agents compositeur ou des instruments noté d'une certaine intelligence on va dire qu'ils soient capables d'improviser sur scène avec un musicien ou bien d'être utilisé en studio avec un compositeur pour multiplier démultiplier les palettes des possibles donc le point commun entre tous ces agents musiciens qu'on développe premièrement c'est la notion de mémoire c'est à dire qu'on leur fait manger on leur fait apprendre beaucoup de musique ou un peu de musique avant de monter sur scène ou parfois en montant sur scène est ce qu'on appelle faire de la musique pour ces agents musicaux c'est se promener c'est naviguer de manière un peu facétieux et non linéaires dans cette mémoire musicale pour créer des nouvelles séquences musicales donc pour illustrer sa un premier exemple avec un saxophoniste humain qui joue du saxophone et puis un système qui commence avec une mémoire musicale vide qui enregistre ce comme musicien joue créé sa mémoire à partir de ça pour pouvoir et trois voix de saxophone qui viennent créer une texture avec lui [Musique] non 2 m là 2 qui [Musique] cet exemple-là illustre bien le premier paradigme qu'on essaye de mettre en place deux d'interaction de connexion musical entre l'humain et la machine premièrement il ya ceux dont je parlais tout à l'heure les coûts' d'apprentissage le système est coûteux de musiciens pour engranger des connaissances musicales et puis aussi la connaissance commune d'un scénario d'une structure en fait avancé boots et sur l'improvisation vous avez vu là on a dit au système on va improviser sur tel déroulé temporel alors c'est quelque chose de très abstrait on lui a dit par exemple il y aura un thème appuie un thème b puis une variation sur appui retour sur aube et sans définir ce qu'est a ou b mais on donne une séquence un scénario est donné à priori un scénario à la machine s'est pas tricher c'est pas tricher premièrement parce que le but c'est de faire de la musique et pas de faire des prouesses techniques forcément donc ya pas de morale là dedans le but est que ça marche et puis ce n'est pas tricher parce qu'en fait ça reprend exactement les pratiques que peuvent avoir deux improvisateurs de jazz qui sont dans un club mais qui se disent avant de commencer là on va improviser sur la grille d'automne livre de a song for my father par jour par exemple et cette idée d'introduire un scénario dense que je vous la machine c'est aussi intéressant dans une pratique plus compositionnel une pratique de composition pure ça permet à un compositeur de composer à l'échelle de la narration d'où la métaphore de scénarios de composer à grande échelle ce qu'il veut raconter et puis se laisser surprendre par la manière que la ram elle que la machine aura eu deux instances iessa de réaliser ça c'est le cas par exemple dans le projet le bas expérience du compositeur pascal dusapin ou là le but c'était à partir de grosse mémoire musicale me constitué de plein de comptines a capella de créer des gigantesques nuages chantant dans lesquelles les spectateurs déambulent là je vais vous montrer des petites réductions avec quelques voix un pad et sentel et donc par exemple voilà ce qui se passe si le compositeur dit j'aimerais avec ta machine que tu me fasses quelque chose un nuage chantant qui correspondent au scénario abstrait suivant plein de tranches de voix autour de la même note qui viennent se superposer puis d'autres qui rentre pour créer finalement un accord par exemple [Musique] et c'est ou bien un autre exemple de scénario tient maintenant je voudrais un nuage chantant qui tourne autour de tels mélodies et qu'elle pioche est surtout dans des timbres assez aigu avec des voix assez clair plutôt de femmes ou d'enfants [Musique] donc là l inverse du premier exemple c'est vraiment une application pour la composition pure et entre l'improvisation et la composition ce type d'outil aussi permet on va dire d'apporter les pratiques hybride à mi-chemin entre les deux par exemple dans ce projet du compositeur georges blog du pianiste hervé sellin le but était que le pianiste puis s'improvisait sur une structure scénario connu à la brosse à savoir le standard de jazz the man i love mais il voulait être accompagné par un choeur avec une esthétique un peu patchwork un peu cut pour quelle raison parce que la mémoire donnée aux agents pour constituer ce choeur était très hétérogène donc on avait billie holiday qui chante de mana il offre donc ça pour chanter sur the man i love ça devrait aller mais aussi edith piaf qui chantent mon dieu miller ou bien elisabeth schwarzkopf qui chante du mozart du puccini donc le but c'était d'avoir ce coeur un peu bancal un peu de guingois mais qui grâce à l'intelligence musicale du système rentrer quand même dans l'harmonie du morceau joué par le musicien [Applaudissements] m [Musique] 1 je oh non [Musique] 1 elle 1 donc dans cet exemple là comme dans les précédents on a vu la collection la connexion entre l'humain et la machine par une écoute d'apprentissage et par la connaissance d'un scénario commun souvent qu'on peut dire c'est qu'on peut composer par l'humain et une autre direction qu'on étudie une autre connexion musical entre l'humain et la machine c'est celle de les coûts très active c'est à dire que cette fois le système n'a aucune connaissance a priori du déroulé temporel de ce qui va se passer il connaît pas de scénario mais on le punit juste de capacité d'écouté et d'analysé pour être capable de réagir sur le moment de la meilleure manière possible à un événement musical qu'il entend donc par exemple dans cet exemple là avec le saxophoniste rémy fox encore ont nourri la machine avec de la batterie et on veut que les gens écoutent l'énergie et la hauteur de ce que joue le saxophoniste pour être à mi chemin entre un effet c'est à dire parfois une batterie qui vient soutenir supporter enrichir le timbre du saxophone et parfois quelque chose qui est plus de l'ordre du dialogue avec le musicien [Musique] [Applaudissements] [Musique] voilà ça change un peu des esthétiques musicales et alors voilà ce qui se passe dans ce cas là dans la tête du système alors j'utilise plein de l'état fort j'ai dit dans la tête du système mais il faut bien comprendre que dans ma bouche comme dans la bouche de plein de gens c'est des métaphores et que c'est le système n'a pas de tête pas de créativité le yoga ou quand même donc ici la mémoire musicale du système c'est un saxophone découpé en petites tranches c'est tous ces points colorés que vous voyez ici et là le système écoute quelque chose de très différent un coeur de poulenc et le but de cette simulation là c'est que en écoutant l'harmonie l'énergie et les variations de hauteur du coeur de bouloc le saxophone puisse dans les grandes lignes restait dans la même harmonie suivre les mêmes évolutions aller vers du plus aigus quand le coeur dans le plus aigu aller vers plus d'énergie voir la conclusion d'une phrase quand le coeur va vers plus d'énergie ouvert la conclusion d'une phrase [Musique] et donc j'en fond c'est un peu le clou tout à l'heure en dix ans le système n'a pas de tête pas de créativité etc c'est parce que quand on voit ces exemples là où le système écoute chez n'a pas de connaissances a priori on pourrait se dire ah ben là par contre on y est à la machine autonome qui réagit et qui crée tout seul alors de l'autonomie il y en a c'est vrai mais en fait on est loin du système tout à fait autonomes parce que derrière ça déjà il ya une interaction forte avec le musicien rue main et puis surtout même si c'est moins évident que dans d'autres pratiques musicales il ya des gestes compositionnel fort le fait de dire je veux choisir tel corpus telle mémoire c'est un geste compositionnel fort le fait de dire je veux pas non seulement de la batterie en soi mais telle batterie sans lien aussi dire je veux que la batterie elles réagissent non pas aux notes que je joue mais juste à l'énergie de ce que je fais ça ça traduit d'un propos musical et puis si on laisse le système jouer tout seul il pourra déroulé un discours certes mais comme vous l'avez vue sur certaines vidéos si on veut quelque chose dont la narration pour changer donc peu évolué il faut une deuxième personne la deuxième êtres humains qui si le musicien donne le stimulus le deuxième être humain qui joue avec ses instruments logiciel qui lui compose en temps réel de quelle manière on réagit à ces stimuli et donc ce qu'on cherche à faire avec ces systèmes en fait c'est d'offrir aux musiciens avec qui on travaille la possibilité d'être impliqué en amont dans la composition du discours musical kora le système avant la performance ça leur permet de composer non pas dans le temps comme une partition mais de composer des mécanismes de composer des types de réactions donc c'est autre chose que la composition comme dans le sens dans lequel on l'entend tous mais ça reste encore une fois j'insiste un acte créatif humain et puis quand on travaille avec des musiciens qui sont expérimentateurs improvisateurs créateur bien souvent si on leur présente ce type d'outil ils vont pas nous dire est ce que tu peux essayer de me faire une base tranquille qui colle bien avec les accords de piano que je te donne la question ça va être mais avec ton truc est ce que tu pourrais faire une batterie qui soit et super bien articuler rythmiquement mais qui se cale parfaitement sur la prosodie de mon saxophoniste préféré ou non peut essayer de faire ça du coup ce que je voudrais préciser avant de terminer c'est que tout ce qu'on a vu ici là c'est pas un travail de chercheur isolé dans son laboratoire on fait tout ça en collaboration étroite et long terme avec des musiciens et ses collaborations ont trois objectifs le premier c'est de faire de la musique avec tous ces systèmes là il ya eu ces trois dernières années plus d'une cinquantaine de concerts avec la galerie de musiciens que vous voyez ici à paris au centre pompidou au collège de france aux états unis en europe un des vrais production musicale c'est ça qu'on cherche à faire le deuxième objectif de ces collaborations c'est de produire des instruments de produire des outils qui au passage son open source libre sur internet et quand on travaille en vue d'une production avec un musicien avec ces outils qui marchent pas encore qui sont encore un peu balbutiant c'est leur retour qui nous permettent d'avancer de motiver les développements futurs et puis d'une troisième finalité c'est que en creux quand on travaille avec des musiciens improvisateurs par exemple et qu'on leur demande pourquoi la musique allemand ça marche pourquoi la musicalement ça marche pas trop selon toi ben la manière qu'ils ont de répondre et de valider ou non ce qu'on fait avec nos systèmes informatiques c'est une manière détournée de leur faire formaliser ce qu'est leurs pensées de la musique ou leurs pensées de l'improvisation donc c'est une démarche qu'on pourrait presque qualifier d' ethnomusicologique donc c'est pour ça que systématiquement quand on travaille avec les musiciens on prépare les performances on travaille en studio on fait des concerts et on fait des entretiens et des séances de réécoute donc ces entretiens très souvent on entend des choses assez tranchées de la part des musiciens avec qui on travaille des très beaux d'avancé lourd inintéressant au possible voilà comme ça c'est bluffant et parfois des choses tout aussi tranchée mais peut-être un petit peu moins immédiate à retranscrire dans un système informatique j'ai légaré et mal garées avec l'autre ça va mieux qu avait le même mois je veux le dire à ma mère voilà je pense que c'est une bonne conclusion parce que même si c'est 10 de manière très fleurie amarante en fait c'est exactement ça qu'on cherche à faire encore une fois c'est pas de créer automatiquement à l'appel de la musique crédible c'est de pouvoir offrir la possibilité à des grands musiciens comme bernard lubat ici d'introduire face à eux ce qu'ils appellent l'étrange étrangers ou ici légaré qui est mal garées je vous remercie [Applaudissements]

Leave a Reply

Your email address will not be published. Required fields are marked *