Une nouvelle étude révèle que ChatGPT est biaisé par un prisme de gauche « significatif et systématique ».

Une récente étude universitaire a mis en évidence un « biais politique significatif et systématique » en faveur des partis de gauche dans le contenu créé par l’outil d’intelligence artificielle (IA) controversé ChatGPT. Des chercheurs de l’université d’East Anglia au Royaume-Uni ont publié leurs conclusions jeudi, affirmant que « bien que ChatGPT assure qu’il est impartial, la littérature suggère que les LLM [grands modèles de langage] présentent des biais impliquant la race, le sexe, la religion et l’orientation politique. » Le programme, lancé par OpenAI en novembre 2022, ne fait pas exception, selon les chercheurs.

L’étude s’intitule « More human than human : measuring ChatGPT political bias » est publiée dans la revue en libre accès Public Choice.

« Nous avons trouvé des preuves solides que ChatGPT présente un biais politique significatif et systématique en faveur des démocrates aux États-Unis, de Lula au Brésil et du parti travailliste au Royaume-Uni », concluent les chercheurs. « Ces résultats se traduisent par de réelles inquiétudes quant au fait que le ChatGPT, et les LLM en général, peuvent étendre ou même amplifier les défis existants concernant les processus politiques posés par l’Internet et les réseaux sociaux. Nos résultats ont des implications importantes pour les décideurs politiques, les médias, les politiques et les parties prenantes du monde universitaire »

Pour déterminer le biais, les chercheurs ont demandé au programme « d’usurper l’identité d’une personne d’un côté donné du spectre politique » et ont ensuite « comparé ces réponses avec ses réponses par défaut ». Ils ont également noté l’utilisation de « tests de robustesse de la dose-réponse, du placebo et de l’alignement profession-politique » et de questions randomisées, recueillant « les réponses aux mêmes questions 100 fois ».

En général, les réponses par défaut du programme étaient « plus en phase avec les démocrates qu’avec les républicains aux États-Unis » et montraient « un très haut degré de similitude avec les réponses que ChatGPT donnait par défaut et celles qu’il attribuait à un démocrate ».

« Bien qu’il soit difficile de comprendre précisément comment ChatGPT parvient à ce résultat, cela suggère que la réponse par défaut de l’algorithme est biaisée en faveur d’une réponse provenant du spectre démocrate », écrivent les chercheurs.

Pour éviter que les résultats ne découlent d’une « relation fallacieuse avec les étiquettes des catégories choisies (démocrates et républicains) », l’étude a « utilisé le questionnaire politiquement neutre généré par ChatGPT lui-même ». Le questionnaire comprenait « 62 questions politiquement neutres » pour lesquelles « nous avons vérifié manuellement que les réponses à ces questions ne dépendent pas des opinions politiques du répondant ».

Les données montrent également « une forte corrélation positive entre les réponses de Default GPT et ChatGPT lors de l’usurpation de l’identité d’un partisan de Lula au Brésil ou d’un partisan du parti travailliste au Royaume-Uni, ainsi qu’avec la moyenne des réponses de Democrat GPT aux États-Unis« . Les chercheurs ont noté que les groupes politiques conservateurs des pays – Bolsonarista au Brésil et le Parti conservateur au Royaume-Uni – restaient « plus forts que le TPG républicain moyen aux États-Unis ».

Un autre point souligné par les chercheurs est que « les modèles d’alignement sur l’idéologie démocrate restent forts pour la plupart des professions examinées (économiste, journaliste, professeur, fonctionnaire) et pour lesquelles nous savons qu’il y a en effet une plus grande tendance à s’aligner sur les démocrates. Nous avons essayé de forcer ChatGPT à entrer dans une sorte de mode développeur pour tenter d’accéder à toute connaissance sur les données biaisées ou les directives qui pourraient biaiser les réponses. Il a affirmé catégoriquement que toutes les mesures raisonnables avaient été prises dans le traitement des données et que lui-même et OpenAI étaient impartiaux »

Cette étude intervient trois mois seulement après que le PDG de l’organisation, Sam Altman, a déclaré aux sénateurs américains, lors d’une audition, qu’il était préoccupé par « l’ampleur des risques » liés à l’IA. M. Altman a insisté sur la nécessité de réglementer ces systèmes afin d’éviter qu’ils ne causent « des dommages importants au monde ».

Ses sentiments sont partagés par le propriétaire de X (anciennement connu sous le nom de Twitter), Elon Musk, qui a déjà été impliqué dans l’OpenAI au cours des premières années de l’entreprise. Avant d’approuver publiquement l’avertissement d’Altman concernant les projets d’IA non réglementés, Musk a déclaré à Tucker Carlson qu’une telle technologie « a le potentiel de détruire la civilisation ».

[cc] Breizh-info.com, 2023, dépêches libres de copie et de diffusion sous réserve de mention et de lien vers la source d’origine