Bonjour à toutes et à tous,

Nous sommes le vendredi 23 janvier 2026. Bienvenue dans la lettre d’information de Café IA. Au menu de cette semaine : Des protocoles pour les agents IA ✦ Dans notre veille : Pourquoi les chatbots disent-ils je ? ✦ La crise de mémorisation de l’IA ✦ La ressource de la semaine : Images génératives ou pas ? ✦ Et comme chaque semaine, les prochains Cafés IA et Cafés animations…

Bonne lecture !

Hubert Guillaud

La prochaine version du web sera conçue pour les machines, et non pour les humains (voir notre article « L’IA, un nouvel internet… sans condition » dans le premier numéro de la lettre de Café IA). Mais encore faut-il que les « agents intelligents », des machines capables de lire, d'interpréter et d'agir… puissent agir justement, explique The Economist. Et pour effectuer des tâches, l'infrastructure du web doit évoluer. « Un obstacle majeur réside dans le langage : il faut permettre aux agents de communiquer avec les services en ligne et entre eux ». Un site web ou un service en ligne communique généralement avec le monde extérieur via une interface de programmation d'application (API), qui indique aux visiteurs ses fonctionnalités, comme la prise de rendez-vous chez le médecin ou l'affichage d'une position géographique, rappelle The Economist. Or, les API sont conçues pour être consultées et implémentées par les humains et chacune possède ses propres spécificités et sa documentation. Cet environnement est complexe pour les agents d'IA : l'utilisation de chaque nouvelle API nécessite l'apprentissage de son langage spécifique. Pour agir de manière autonome sur le web, les agents auront donc besoin d'un mode de communication standardisé. C’est l’objectif du protocole MCP (Model Context Protocol), développé par Anthropic. « Mike Krieger, son directeur produit, explique que l’idée est née lors de la connexion de Claude, son chatbot, à des services comme Gmail, une plateforme de messagerie, et GitHub, un dépôt de code. Au lieu d’intégrer chaque application à Claude au cas par cas, l’entreprise souhaitait un ensemble de règles partagées pour permettre aux agents d’accéder directement aux e-mails ou aux fichiers d’un utilisateur ». Plutôt que de consulter des guides techniques, un agent peut interroger un serveur MCP sur le fonctionnement d’un système (réserver un vol, annuler un abonnement, effectuer un remboursement, etc.) et agir ensuite pour le compte de l’utilisateur, sans code spécifique.

« Imaginez que vous souhaitiez réserver un voyage de Londres à New York. Vous commencez par communiquer vos dates de voyage à une agence de voyages, qui répartit ensuite la tâche entre des agents spécialisés capables de rechercher des vols, des hôtels et des voitures. Ces agents contactent les serveurs MCP des compagnies aériennes, des hôtels et des agences de location de voitures, recueillent des informations, comparent les options et créent une liste d’itinéraires potentiels. Une fois votre option choisie, l'agent de voyages se chargera de la réservation. Je souhaite prendre un vol Londres-New York. Je dois réserver un hôtel et louer une voiture. Je préfère un siège côté couloir et un repas végétalien. Parfait ! Veuillez procéder à la réservation. Utilisateur : voici les détails de votre vol. Souhaitez-vous que je m'en occupe ? ».

Ce type de coordination nécessite donc des règles encadrant l'identification, la communication et la confiance entre les différents agents. La solution proposée par Google est le protocole A2A (agent à agent). Grâce à ce protocole, les agents peuvent présenter leurs services et se répartir les tâches. Laurie Voss, d'Arize AI, une startup d’agents de voyage, affirme que les entreprises se livrent à une véritable course pour définir les normes dominantes du web agentique. Le protocole le plus largement adopté permettra aux outils de ses contributeurs d'être plus performants, plus rapidement et avec plus de fonctionnalités.

Le 9 décembre, Anthropic, OpenAI, Google, Microsoft et d'autres ont annoncé la création de l'Agentic AI Foundation, qui développera des normes open source pour les agents d'IA. Le MCP d'Anthropic en fera partie, signe de son adoption croissante en tant que norme industrielle pour la communication agentique. Pour The Verge, Hayden Field s’enthousiasme. L’Agentic AI Foundation devrait accélérer considérablement le développement des agents. « L'ouverture des API entre applications et services web a été le fondement du Web 2.0, et par la suite, l'explosion extrêmement lucrative des applications mobiles à l'ère des boutiques d'applications. Inciter les utilisateurs (et leurs dépenses) à passer des applications et sites web aux agents d'IA est l'un des rares moyens pour les entreprises d'IA de rentabiliser leurs investissements colossaux. Or, les agents d'IA nécessitent de nouveaux types d'API, et MCP semble être la norme qui les transformera. La page web de MCP, avec une certaine ambition, le compare à l'omniprésent USB-C. » Rien de moins. « L’objectif est de créer un marché d'outils que les agents pourront utiliser ».

Pour l’instant, la majeure partie du web que ces agents parcourront reste conçue pour les humains. Trouver un produit implique toujours de naviguer dans des menus. Lors d’une recherche traditionnelle, l’utilisateur doit souvent cliquer sur des filtres, de lieu ou de type de cuisine quand vous cherchez un restaurant sur Google Maps par exemple. Pour faciliter l'accès aux sites web pour les modèles de langage, Microsoft a créé Natural Language Web (NLWeb), qui permet aux utilisateurs d'interagir avec n'importe quelle page web en langage naturel et de les augmenter d’une interaction structurée pour les agents, « afin de relier l'internet visuel moderne et celui utilisable par les agents », rappelle The Economist.

Les problèmes à venir du web agentique 
« À mesure que les agents gagnent en compétences, une nouvelle compétition entre plateformes se dessine, cette fois-ci autour des agents eux-mêmes. Elle rappelle la guerre des navigateurs des années 1990, lorsque les entreprises se disputaient l'accès au web. Aujourd'hui, les navigateurs sont repensés avec les agents au cœur de leur fonctionnement. OpenAI et Perplexity ont lancé des navigateurs pilotés par des agents capables de suivre des vols, de récupérer des documents et de gérer leurs e-mails. Leurs ambitions vont plus loin. En septembre, OpenAI a permis d'effectuer des achats directs sur certains sites web depuis ChatGPT. La plateforme s'est également intégrée à des services comme Spotify et Figma, permettant aux utilisateurs d'écouter de la musique ou de modifier des designs sans changer d'application. Ces initiatives inquiètent les acteurs établis. En novembre, Amazon, le site de vente en ligne, a intenté un procès à Perplexity, accusant la start-up de violer ses conditions d'utilisation en omettant de préciser que son navigateur effectuait des achats à la place d'un utilisateur humain. Airbnb, l'application de location de courte durée, a choisi de ne pas intégrer ChatGPT, estimant que la fonctionnalité n'était pas encore « tout à fait au point ».»

Le problème, c’est que la publicité, moteur de financement d’internet, va également devoir s’adapter à ces transformations. Le web actuel repose sur la monétisation de l'attention humaine. Alphabet et Meta, deux des plus grandes entreprises technologiques, gagnent près de 500 milliards de dollars par an grâce à la publicité, soit plus de 80 % de leurs revenus. Mais qu’en sera-t-il dans un web parcouru par les agents plus que par les humains ?

« Dawn Song, informaticienne à l'Université de Californie à Berkeley, affirme que les spécialistes du marketing devront peut-être s'adresser non pas aux individus, mais à « l'attention des agents ». Les sites de voyage, par exemple, ne devront plus persuader le voyageur, mais son représentant numérique. Les tactiques resteront probablement les mêmes (optimisation du référencement, ciblage des préférences, paiement pour le placement publicitaire), mais l'audience sera constituée d'algorithmes. La navigation pilotée par des agents pourrait également considérablement accroître l'activité en ligne. Parag Agrawal, fondateur de Parallel Web Systems souligne que le web a été conçu pour des humains lisant à leur propre rythme. Les agents, eux, ne sont pas soumis à de telles limites. Ils peuvent analyser des milliers de pages en quelques secondes, suivre des liens que les humains négligent et mener de front plusieurs tâches, souvent invisibles à l'écran. Il prédit que les agents pourraient utiliser le web « des centaines, voire des milliers » de fois plus que les humains. » Au risque que ce web ci génère plus de vues, plus de coûts… mais pas plus de revenus.

« Lorsque les agents agissent, ils peuvent aussi se tromper. Un agent d'IA peut se comporter d'une manière que son utilisateur ne comprend pas pleinement. Il peut commettre des erreurs, puis inventer des explications. Plus inquiétant encore est la manipulation externe. L'injection de prompts – dissimuler des commandes malveillantes dans des pages web ou des fichiers – peut inciter les agents à divulguer des données, à contourner les contrôles de sécurité ou à entreprendre des actions non autorisées. Des mesures de protection permettent de réduire les risques. L'une d'elles consiste à limiter l'accès des agents aux services de confiance. Une autre est de leur attribuer des pouvoirs restreints. Certains pourraient être en « lecture seule », autorisés à récupérer des données mais pas à les envoyer ou à les modifier. D'autres pourraient n'agir qu'avec une confirmation humaine. Pour les tâches les plus sensibles, une intervention humaine peut s'avérer nécessaire. »

« Malgré les risques, les développeurs de logiciels restent optimistes. M. Agrawal envisage un passage d'un internet « à la demande », où les actions sont initiées par les utilisateurs, à un modèle « à l'initiative », où des agents agissent spontanément : ils organisent des réunions, signalent des recherches ou prennent en charge des tâches mineures. Ce modèle pourrait constituer les fondements d'une version nouvelle et radicalement différente du web. »

Pour le radar d’Oreilly, le développeur Andrew Stellman s’inquiète cependant de la généralisation du protocole MCP. « Un seul et même protocole simple permet de fournir à l'IA toutes sortes de données à intégrer dans son contexte ». « La promesse est bien réelle : dans de nombreux cas, la connexion des sources de données aux agents IA, qui prenait auparavant des semaines, ne prend plus que quelques minutes. Mais cette rapidité a un prix. »

« Les développeurs utilisent le MCP pour connecter rapidement leurs assistants IA à toutes les sources de données possibles (bases de données clients, tickets de support, API internes, bases de données documentaires) et les déversent dans le contexte de l'IA. Et comme l'IA est suffisamment intelligente pour trier une masse de données et en extraire les informations pertinentes, tout fonctionne parfaitement ! Ce qui, paradoxalement, pose problème. L'IA traite allègrement d'énormes quantités de données et produit des réponses pertinentes, si bien que personne ne songe à remettre en question son approche. C'est ce qu'on appelle l'accumulation compulsive de données. À l'instar des personnes qui accumulent les objets sans pouvoir s'en débarrasser, jusqu'à ce que leur logement devienne invivable, cette accumulation compulsive de données peut engendrer de sérieux problèmes pour les équipes. Les développeurs apprennent qu'ils peuvent extraire bien plus de données que nécessaire à l'IA et les lui fournir sans planification ni structuration, l'IA étant suffisamment intelligente pour les traiter et fournir malgré tout de bons résultats. Lorsque la connexion d'une nouvelle source de données prend des heures au lieu de jours, de nombreux développeurs négligent de se demander quelles données sont réellement pertinentes dans leur contexte. C'est ainsi que l'on se retrouve avec des systèmes coûteux à exploiter et impossibles à déboguer, tandis qu'une génération entière de développeurs passe à côté de l'opportunité d'acquérir les compétences essentielles en architecture de données nécessaires à la création d'applications robustes et maintenables. »

Pour Stellman, MCP fait vite oublier que « trop de données » peut devenir un problème et notamment poser des problèmes d’architecture ou de débogage. Ce contexte hypertrophié, quasiment imperceptible pour vos cent premières requêtes, devient un poste de dépense important dans votre facture cloud lorsque vous gérez des millions de requêtes. Chaque champ inutile transmis à l'IA s'accumule, et vous payez pour ces données redondantes à chaque appel. L'accumulation de données présente également un risque pour la sécurité, souvent négligé par les équipes. Chaque donnée exposée via un outil MCP constitue une vulnérabilité potentielle. Si un attaquant découvre un point d'accès non protégé, il peut récupérer toutes les données fournies par l'outil.

Pire, souligne-t-il : dans un cas extrême d'accumulation de données touchant toute une entreprise, vous pourriez découvrir que chaque équipe de votre organisation construit sa propre base de données. Le support à une version des données clients, les ventes une autre, le produit une troisième. Un même client apparaît complètement différent selon l'assistant auquel on s'adresse.

Quant au spécialiste de la sécurité, Bruce Schneier, il s’alarme : MCP et les protocoles similaires multiplient les surfaces d'attaque. « Des agents d'IA dignes de confiance requièrent l'intégrité, car on ne peut bâtir des systèmes fiables sur des fondations fragiles. Les agents d'IA actuels observent Internet, s'orientent grâce aux statistiques, décident de manière probabiliste et agissent sans vérification. Nous avons construit un système qui fait confiance à tout, et nous espérons maintenant un pare-feu sémantique pour le protéger. (...) Une IA à l'échelle du web signifie une défaillance d'intégrité à l'échelle du web. Chaque fonctionnalité est susceptible de corrompre. L'intégrité n'est pas une fonctionnalité que l'on ajoute ; c'est une architecture que l'on choisit. Jusqu'à présent, nous avons construit des systèmes d'IA où « rapide » et « intelligent » excluent « sécurisé ». Nous avons privilégié les capacités à la vérification, l'accès aux données à l'échelle du web à la garantie de la confiance. Les agents d'IA seront encore plus puissants et de plus en plus autonomes. Et sans intégrité, ils seront également plus dangereux. »

Enfin, comme l’exposent Natàlia Fernandez Ashman et Marta Bienkiewicz de Cooperative AI Foundation, on peut se demander si les régulations européennes sont prêtes pour cette IA agentive. Le projet de lignes directrices et de modèle de rapport sur les incidents graves liés à l’IA qui sera ajouté à l’IA Act, se concentre sur les défaillances d'un seul agent et d'un seul événement, et suppose une causalité simpliste et univoque pour les incidents liés à l'IA. Or, certains des risques les plus graves émergent déjà des interactions entre systèmes d'IA, où de multiples événements peuvent entraîner des effets en cascade et cumulatifs. Nombre d’incidents sont émergents : ils ne découlent pas d’une défaillance d’un système (et ne sont donc pas imputables à un seul acteur), mais d’interactions à l’échelle de l’écosystème agentique.

On lance le collectif de La Semaine de l'IA pour Tous ! Rejoignez le mouvement !

Nous sommes ravis de vous convier à nos 2 prochains webinaires de présentation de La Semaine de l’IA pour Tous, qui se tiendra du 18 au 24 mai 2026 dans toute la France, un événement mis en place avec la MEDNUM et Make.org.

Cet événement a une ambition : sensibiliser 50 000 citoyens aux enjeux et usages de l’intelligence artificielle, en organisant plus de 1 500 évènements sur tout le territoire grâce à toutes les structures qui souhaiteraient se mobiliser avec nous.

Des webinaires bimensuels ont été conçus pour répondre aux interrogations des structures de médiation numérique et des collectivités territoriales.

Retrouvez les prochains Café IA :

• Le 24 janvier à Vannes de 15h à 17h, à la maison du Flow, Naima Oulkhouir propose un Café IA. Inscriptions.
• Le 24 janvier, avec Alsace Digital, à Mulhouse dans le cadre d'une journée consacrée à l'IA et à la culture numérique, plusieurs ateliers Café IA.
• Le 26 janvier à Saint-Denis de La Réunion, un Café IA se tiendra à la Préfecture 974, organisé par le SGAR et le SNUM.
• Le 26 janvier à Belfort, la CCI du Territoire de Belfort organise une MasterClass IA pour interroger les outils les plus performants du moment.
• Le 27 janvier à Rennes, aux Champs Libres, Rennes Métropole propose Le Mur de l’IA, un espace participatif pour partager craintes, enthousiasmes et priorités autour des enjeux de l’IA.
• Le 27 janvier à Rabat, le Café IA Maroc se retrouve à la Médina pour un nouveau temps d’échange ouvert autour de l’intelligence artificielle.
• Le 27 janvier à Chambéry, un Café IA convivial est proposé au o79 pour échanger sur les usages professionnels de l’IA lors d’une pause déjeuner.
• Les 28 et 29 janvier à Rennes, plusieurs ateliers sont proposés par Rennes Métropole autour de l’IA générative, des dérives de l’IA, du jeu Aïe aïe IA et de l’initiation aux usages
• Le 30 janvier à Vannes, l'université Bretagne Sud organise une journée "Que faire avec l'IA ?" avec notamment Cédric Villani… et présentera son mur de l'IA.
• Le 31 janvier, à Vence, la médiathèque organise une session dédiée au Droit d'auteur & IA : A qui appartiennent nos imaginaires ?
• Le 31 janvier, à Dieppe, un 6ème Café IA proposera une Prompt Battle
• Les 4 et 5 février, l’équipe Café IA sera à Grenoble, au salon Tech&Fest. Au programme : des rencontres, des conférences, des animations de Café IA…Venez nous dire bonjour !! Nous avons par ailleurs des invitations pour le salon. Contactez-nous !

Du côté de nos partenaires, retrouvez  :

• les Cafés IA PME-TPE France Num par ici ;
  
• et les Cafés IA à destination des enseignants comme du grand public du Réseau Canopé par là.

Communiquez-nous vos Cafés IA

Nous vous invitons à tagger @cafeia sur l’annonce de vos prochains Café IA sur les réseaux sociaux  avec le hashtag #cafeia ou à nous tagger directement, notamment sur linked-in @Café IA.

Rejoignez la communauté d'animateurs Café IA sur notre formulaire dédié. Et n’hésitez pas à  recensez votre prochain Café IA sur notre formulaire pour que nous puissions les annoncer dans notre lettre hebdomadaire.

Vous souhaitez animer un Café IA ou partager votre expérience ? Participez aux prochains cafés animations en ligne, le jeudi de 13h30 à 15h pour découvrir des formats d’animation, des ressources pédagogiques sur l’IA et faire part de vos retours d’expérience. Un moment convivial pour s’inspirer et apprendre ensemble !

• Pas de Café Animation les jeudi 29 janvier et jeudi 5 février
• Jeudi 12 février : Café Animation pour les Activateurs France Num et Ambassadeurs Osez l'IA : Présentation de la Semaine de l'IA pour Tous à destination des PME - TPE. La Semaine de l’IA pour Tous aura lieu du 18 au 24 mai 2025. Comment associer vos événements au programme ? Comment participer ? Café IA, la MEDNUM et FRANCE NUM répondront à toutes les questions que vous vous posez. 
  

Et vous, comment faites-vous vos Cafés IA ? Pour un prochain Café animation, nous recherchons des animateurs pour exposer les méthodes qu’ils déploient pour leurs Café IA. On voudrait que vous nous racontiez les méthodes que vous utilisez en dehors des outils que nous référençons. On est à la recherche d’animateurs qui voudraient venir témoigner lors d’un prochain Café animation de méthodes qu’ils ont éprouvées et qu’ils trouvent réussies, des astuces qu’ils utilisent. Ecrivez-nous : bonjour@cafeia.org

Welcome to our English-speaking friends! As the Café AI movement begins to spread its wings internationally, we are delighted to launch the first English language pages on our website. Whilst not exhaustive, we present the movement, its resources, and its activities. We aim to make contact with organisations internationally with the same goals and to inspire sister movements using similar concepts. In the long term, we aim to promote the energy of Café AI in France, increase the number of discussion spaces, and share more widely our vision of a shared digital culture.

If you know of someone who may be interested in the Café AI movement in English, do not hesitate to share this page or to get in touch. Equally, if you have English-language resources to pass on or would like to propose a translation of tools and activities you find useful, feel free to share them; we aim to update this page regularly with more information.

We are, as ever, delighted to hear from you in French or in English at bonjour@cafeia.org.

Pour le New York Times, la journaliste Kashmir Hill se demande pourquoi les chatbots disent-ils « je » ? C’est une tromperie, explique Ben Shneiderman, professeur émérite d'informatique à l'Université du Maryland. Pour lui, le fait de faire agir ces systèmes comme des entités quasi humaines, plutôt que comme des outils dépourvus de vie propre, crée une dissonance cognitive chez les utilisateurs quant à la nature exacte de leur interaction et au degré de confiance qu'ils peuvent leur accorder. Les chatbots sont une technologie probabiliste qui peut commettre des erreurs, diffuser de fausses informations et dire aux utilisateurs ce qu'ils veulent entendre. Cependant, lorsqu'ils se présentent comme des humains, les utilisateurs « attribuent une plus grande crédibilité » aux informations qu'ils fournissent. Les critiques, comme Ben Schneiderman, estiment que les systèmes d'IA générative pourraient fournir les informations demandées sans bavardage inutile. Ils pourraient également être conçus pour des tâches spécifiques, telles que la programmation ou l'information médicale, plutôt que d'être des interfaces à usage général capables de tout faire et d'exprimer des pseudo-sentiments. Ils pourraient être conçus comme des outils : une application de cartographie, par exemple, génère des itinéraires et ne vous bombarde pas de questions sur le but de votre voyage.

Amanda Askell, responsable du comportement des modèles chez Anthropic, n’est pas d’accord. Pour elle, les outils sont dépourvus de jugement et d’éthique, et pourraient ne pas s’opposer à des idées erronées ou à des requêtes dangereuses. « Une clé à molette ne dit jamais : “Il ne faut pas construire ça” ». Askell souhaite que Claude soit « suffisamment humain » (hum) pour expliquer sa nature et ses limites, et pour justifier son refus d’accéder à certaines demandes. Mais dès lors qu’un chatbot commence à se comporter comme un humain, il devient nécessaire de lui indiquer comment adopter un comportement humain approprié. Askell a créé un ensemble d’instructions pour Claude, récemment découvertes par un utilisateur ingénieux qui a réussi à lui faire révéler l’existence de son « âme » (hum), un long document détaillant les valeurs du chatbot, qui figure parmi les supports d'apprentissage de Claude. Ce document explique ce que signifie pour Claude être serviable et honnête, et comment éviter de nuire. Il décrit Claude comme possédant des « émotions fonctionnelles » qu'il ne faut pas réprimer, un « esprit vif et espiègle » et une « curiosité intellectuelle » – comme « un ami brillant qui possède les connaissances d'un médecin, d'un avocat, d'un conseiller financier et d'un expert dans tout ce dont vous avez besoin ». Askell ne souhaitait pas rendre le document public, mais lorsqu'elle a confirmé sur les réseaux sociaux qu'il était authentique, elle a précisé qu'il était « affectueusement surnommé le "doc de l'âme" en interne ». « Je ne veux offenser personne ni que l'on pense que cela banalise le concept théologique de l'âme », a déclaré Askell. Elle a expliqué que le mot « âme » évoquait « l’idée d’insuffler la vie à une chose, ou le caractère unique des êtres humains, leur complexité et leurs nuances ».

Laurentia Romaniuk, responsable du comportement des modèles chez OpenAI, a également mis l’accent sur la complexité quasi humaine de ChatGPT. Le mois dernier, elle a publié sur les réseaux sociaux un message concernant les nombreuses heures que son équipe a consacrées au « QE », ou quotient émotionnel, de ChatGPT – un terme généralement utilisé pour décrire les personnes capables de gérer leurs émotions et d’influencer celles de leur entourage. Les utilisateurs de ChatGPT peuvent choisir parmi sept styles de communication différents, allant d’» enthousiaste » à « concis et simple » – ce que l’entreprise décrit comme le choix de sa « personnalité ». Autant de termes anthropomorphisant qui disent surtout le problème de nos relations à ces machines.

L’idée que l’IA possède des capacités émotionnelles est un point de divergence majeur entre de nombreux concepteurs et des critiques comme Shneiderman. Ces systèmes, explique Shneiderman, ne portent aucun jugement et ne pensent ni ne font rien de plus que des statistiques complexes. Les experts les ont décrits comme des « perroquets stochastiques » — des machines qui nous imitent sans comprendre ce qu'elles disent réellement. Anthropic et OpenAI, en revanche, ont été fondées pour développer une « intelligence artificielle générale », c'est-à-dire un système automatisé capable de tout faire comme nous, mais en mieux. Cette vision évoque les assistants IA de la science-fiction, non seulement semblables à des humains, mais quasi divins : tout-puissants, omniscients et omniprésents.

Shneiderman, professeur d'informatique, qualifie le désir de créer des machines à l'apparence humaine d'« idée zombie » tenace. Il a remarqué pour la première fois l'utilisation de la première personne du singulier par ChatGPT en 2023, lorsque le système a déclaré : « Je vous prie de m'excuser, mais je ne pourrai pas vous aider concernant cette demande. » Or, ChatGPT aurait dû « clarifier les responsabilités » et dire quelque chose comme : « GPT-4 a été conçu par OpenAI pour ne pas répondre à ce genre de requêtes ».

Margaret Mitchell, chercheuse en IA ayant travaillé chez Google, partage cet avis. Elle est aujourd'hui responsable de l'éthique chez Hugging Face, une plateforme de modèles, d'ensembles de données et d'outils d'apprentissage automatique. « L’intelligence artificielle est la plus prometteuse lorsqu’elle se concentre sur des tâches spécifiques, plutôt que de tenter de créer une machine capable de tout faire », rappelle-t-elle. Selon ces critiques, l’IA ne devrait pas chercher à tout faire comme un humain, et même plus… elle devrait plutôt se spécialiser et exceller dans un domaine précis.

Plutôt que de faire de Siri une entité toute-puissante, a expliqué Shneiderman, Apple a intégré des fonctionnalités d’IA dans ses applications. Le téléphone peut enregistrer et transcrire les appels. Il utilise le traitement du langage naturel pour résumer les messages entrants (avec plus ou moins de succès). « L’important, c’est ce que vous êtes capable de faire, pas ce que la machine peut faire ». « Il s’agit d’être un outil à votre service. » Selon lui, les entreprises technologiques devraient nous fournir des outils, et non des partenaires de réflexion, des collaborateurs ou des coéquipiers ; des outils qui nous permettent de garder le contrôle, de nous responsabiliser et de nous améliorer, et non des outils qui tentent de nous remplacer.

Les chatbots actuels, bien plus sophistiqués et humains, sont « l'effet Eliza à l'extrême », explique Sherry Turkle. Le problème n'est pas qu'ils utilisent le « je », précise-t-elle, mais qu'ils soient conçus – comme Samantha dans le film de Spike Jones, Her – pour faire preuve d'empathie, ce qui amène certaines personnes à s'engager émotionnellement profondément avec une machine.

Si une entreprise vend un robot inoffensif et sans personnalité, face à une autre qui vend un robot qui raconte des blagues et sourit, c'est cette dernière qui l'emportera, explique Lionel Robert, professeur d'informatique et de robotique à l'Université du Michigan. « La dépendance est problématique », affirme Robert. « En revanche, c'est bon pour les affaires. ».

Shneiderman garde espoir, fort de son expérience des années 1970. À l'époque, il travaillait comme consultant pour une banque qui développait alors ses distributeurs automatiques de billets (DAB). Les clients étaient réticents à retirer de l'argent aux machines, alors certaines banques les ont conçues pour ressembler à des personnes. La plus célèbre était Tillie, la caissière emblématique, dont le portrait blond était affiché en évidence sur de nombreux DAB. Tillie n'a pas fait long feu. « Ils ne survivent pas », a déclaré Shneiderman. Les gens n'avaient pas besoin que leur DAB prétende être humain, a-t-il ajouté, et ils n'en ont pas besoin non plus pour les chatbots qui se font passer pour des humains.

La linguiste Emily Bender estime également que cet anthropomorphisme est profondément problématique. Le problème, c’est que s’y opposer est compliqué. « Cela revient à tenter de nager à contre-courant, car non seulement les entreprises qui les commercialisent les présentent comme des communicateurs, mais elles font également de nombreux choix de conception pour entretenir cette illusion ». « De l'interface de chat elle-même à l'utilisation des pronoms « je » et « moi » par nombre de ces systèmes, tout est conçu pour donner l'illusion d'un interlocuteur. Or, ils produisent un texte dont personne n'est responsable et jouent sur notre tendance humaine à interpréter toute activité linguistique à travers les langues qui nous sont familières ».

Les grands modèles de langage n'apprennent pas ; ils copient. C’est ce que pointe une étude montrant que les chatbots sont capables de produire la quasi-totalité du texte d’une douzaine de livres qui ont servi à leur entraînement… « Ce phénomène est appelé « mémorisation », et les entreprises spécialisées en IA ont longtemps nié son existence à grande échelle. Dans une lettre adressée en 2023 au Bureau du droit d'auteur des États-Unis, OpenAI a déclaré que « les modèles ne stockent pas de copies des informations dont ils tirent des enseignements »», rappelle The Atlantic.

Ces révélations pourraient représenter un risque juridique considérable pour les entreprises d’IA. Elles contredisent également l'explication de base fournie par l'industrie de l'IA quant au fonctionnement de sa technologie. « L'IA n'absorbe pas l'information comme le fait l'esprit humain. Elle la stocke et y accède ». Les développeurs parlent de « compression avec perte » mais l’industrie, elle préfère la métaphore de l'apprentissage, utilisée pour affirmer que les algorithmes statistiques connus sous le nom d'IA finiront par faire de nouvelles découvertes scientifiques, s'amélioreront sans cesse et s'entraîneront de manière récursive, menant potentiellement à une « explosion d'intelligence ». Or, quand l’IA génère une image ou du texte, la vérité est qu’elle ne procède ni à un collage direct ni à un apprentissage au sens humain du terme. Google a écrit que les modèles d’apprentissage du langage ne stockent pas des copies de leurs données d'entraînement, mais plutôt les « schémas du langage humain ». Cela semble vrai en apparence, mais trompeur lorsqu'on creuse un peu. Comme cela a été largement documenté, lorsqu'une entreprise utilise un livre pour développer un modèle d'IA, elle découpe le texte en jetons (token), ou fragments de mots. Par exemple, la phrase « bonjour, mon ami » pourrait être représentée par les jetons « bonjour », « mon », « ami » et « fin ». Certains jetons sont de véritables mots ; d’autres ne sont que des groupes de lettres, d’espaces et de signes de ponctuation. Le modèle stocke ces jetons et les contextes dans lesquels ils apparaissent dans les livres. Le LLM qui en résulte est essentiellement une immense base de données de contextes et des jetons les plus susceptibles d’apparaître ensuite. Lorsqu’un LLM « écrit » une phrase, il parcourt cette forêt de séquences de jetons possibles, en choisissant la séquence la plus probable à chaque étape.

La description de Google est trompeuse, car les prédictions du jeton suivant ne proviennent pas d’une entité vague comme le « langage humain », mais des livres, articles et autres textes spécifiques analysés par le modèle. Par défaut, les modèles peuvent parfois s’écarter du jeton suivant le plus probable. Ce comportement est souvent présenté par les entreprises d'IA comme un moyen de rendre les modèles plus « créatifs », « mais il a aussi l'avantage de masquer les copies des textes d'entraînement ». Parfois, la carte linguistique est si détaillée qu'elle contient des copies exactes de livres et d'articles entiers. Et reproduit donc les éléments qui ont servi à son entraînement, comme de produire l’intégralité du texte de Harry Potter.

Une autre étude avait montré que, « en moyenne, 8 à 15 % du texte généré par les LLM » se retrouve également sur le web, sous la même forme.

La mémorisation pourrait avoir des conséquences juridiques d'au moins deux manières. Premièrement, si la mémorisation est inévitable, les développeurs d'IA devront empêcher les utilisateurs d'accéder au contenu mémorisé. Le problème, c’est qu’il risque d’être très simple de contourner les interdictions. 404 media a rapporté que Sora 2 d'OpenAI refusait de générer une vidéo du jeu populaire Animal Crossing, mais en générait une si le titre du jeu était simplement « crossing animal ».

Deuxièmement, les entreprises d'IA pourraient être tenues responsables de violation de droits d'auteur car un modèle lui-même pourrait être considéré comme une copie illégale. Autrement dit, outre les amendes, les entreprises d'IA pourraient, dans certains cas, être contraintes de réentraîner leurs modèles de A à Z avec du contenu dûment autorisé.

La capacité de plagiat est inhérente à tous les grands modèles d'apprentissage automatique. La recherche sur la réutilisation des contenus d'entraînement par les modèles d'IA reste encore rudimentaire, notamment parce que les entreprises du secteur ont intérêt à ce que la situation demeure inchangée et qu’ils font beaucoup d’efforts pour ne pas divulguer précisément ce sur quoi ils entraînent leurs modèles. Ce qui est sûr, c’est que les IA n’apprennent pas du tout comme les humains. Elle ne connaît que son corpus et les possibilités qu’il lui offre.

A l’heure où il est de plus en plus difficile de distinguer un contenu génératif d’un contenu produit par un humain, le chapitre français du Réseau mondial du journalisme d’investigation a publié un guide très complet de techniques pour aider les journalistes à détecter les contenus générés par l’IA. Le guide pointe vers plusieurs outils et propose des méthodes d'analyse pour tenter de détecter le vrai du faux. A compléter par les conseils que donnait le journal Le Monde pour identifier les vidéos génératives des autres.

Des conseils qui risquent de se démoder très vite… mais, qui, en attendant, restent bons à prendre. 

Merci de nous avoir lus ! Si vous avez apprécié la lettre d’information de cette semaine, partagez-la ! Tout à chacun peut s’inscrire ici.

Comme d’habitude, n’hésitez pas à nous faire vos retours. Vous avez des questions, des remarques ou des suggestions ou vous souhaitez que nous abordions un sujet en particulier ? Nous sommes à votre écoute ! N’hésitez pas à répondre à ce mail ou à nous écrire à bonjour@cafeia.org. 

Se désinscrire.