Intelligence Artificielle : innovations et nouveautés, débat éthique...

[Remundo]

ce n'est pas que je sois un immense fan de Laurent Alexandre, mais je le trouve juste sur cette courte, mais intense intervention.




https://x.com/GUIB0R/status/1929972797486272636

qui me laisse méditatif.

[Obamot]

Si t’as un outil 1 mio de fois plus performant dans les mains de quelques-uns qui n’auraient pas le discernement ad-hoc pour en tirer parti, ce sera kif-kif… on le voir déjà avec de l’I.A. moins performante, au point que s’en est affligeant…

Et ça ne garantit pas que l’I.A. ne soit pas pipée, j’imagine même pas qu’elle le soit 1 mio de fois “plus”

[Remundo]

moi je crains surtout que ça abrutisse les gens.

ils ne feront aucun effort pour réfléchir, ils demanderont à l'IA, et n'auront aucun moyen de discerner le bien-fondé ou l'ineptie de ses réponses.

[Obamot]

Comme dirait Gegyx (en d’autres termes):

— “Tremblez braves gens!”

Après celle de la “vérité” du tube cat(h)odique, des mainstream, ensuite celle des f*ck checkeurs, puis celle des (pseudos) “zététiciens” une nouvelle “religion” des moutons pour se prosterner…?!!!

(Et si elle n’est pas encore là, les moutons oui…)

[gegyx]

[Remundo]

ce que dit ce Monsieur est mignon. Mais c'est déjà presque du passé.

Les bonnes IA actuelles ne feront pas d'erreurs grossières sur les dates de naissances de grands auteurs.

Je m'amuse, et je travaille aussi avec Grok3, franchement, il faillit peu sur tout un éventail de thèmes, allant du scientifique au juridique en passant par le BTP.

[Christophe]

J’ai pas tout compris !!

Interprétabilité du modèle de récompense via des jetons optimaux et pessimaux
Brian Christian, Hannah Rose Kirk, Jessica A.F. Thompson, Christopher Summerfield, Tsvetomira Dumbalska
Université d'Oxford, 2025

https://arxiv.org/abs/2506.07326

Les systèmes d'IA comprennent-ils vraiment ce que nous apprécions ?
Une nouvelle étude creuse dans les « modèles de récompense » qui aident à enseigner les grands modèles de langues (comme ChatGPT) à s'aligner sur les préférences humaines. Ces modèles de récompense sont les juges invisibles dans les coulisses, attribuant des scores aux réponses de l'IA – plus élevés si elles semblent utiles ou sûrs, plus bas si elles ne correspondent pas à nos attentes. Mais et si les juges eux-mêmes ont des défauts ?

Les chercheurs ont examiné de près dix modèles de récompense populaires en leur donnant toutes les réponses possibles d'un mot à des questions moralement ou socialement chargées. Ce qu'ils ont trouvé était surprenant et parfois troublant. Les modèles – malgré leur formation dans le même but – étaient souvent en désaccord sauvagement, montraient des préférences claires pour certains types de mots, étaient influencés par la façon dont les questions étaient formulées (comme les gens le sont) et avaient tendance à privilégier les mots courants plutôt que les mots plus rares, potentiellement plus précis.

Pire encore, certains modèles ont montré des biais subtils mais constants liés à l'identité - des problèmes qui se sont peut-être glissés involontairement pendant les efforts visant à les rendre « inoffensifs ». " Ces bizarreries cachées pourraient façonner tranquillement le comportement des systèmes d'IA que des millions de personnes utilisent chaque jour.

En bref, bien que les modèles de récompense soient destinés à refléter nos valeurs, ils le font peut-être imparfaitement - et d'une façon qui mérite d'être examinée beaucoup plus attentivement.

Implications :

1. Les modèles de récompense ne sont pas interchangeables
Même les modèles formés sur des objectifs similaires peuvent produire des résultats très différents. Cela remet en question l'hypothèse commune selon laquelle vous pouvez simplement échanger ou réutiliser des modèles de récompense sans conséquences. Chaque modèle apporte ses propres bizarreries et codages de valeur.

2. Le cadrage rapide affecte fortement les extrants
Les scores des modèles varient selon la formulation d'une question – reflétant les biais cognitifs humains comme les effets de cadrage. Cela suggère que le processus d'alignement n'est peut-être pas aussi robuste qu'il n'y paraît et qu'il pourrait être facilement manipulé ou mal compris.

3. Parti pris envers certaines identités
L'étude révèle des préjugés involontaires contre ou en faveur de groupes d'identité spécifiques, éventuellement introduits lors d'un ajustement « inoffensif ». Cela soulève des inquiétudes éthiques : les modèles pourraient apprendre à éviter certains sujets, ignorer les voix marginalisées ou renforcer les stéréotypes nuisibles, même si involontairement.

4. Surévaluation des jetons fréquents
Les modèles favorisent de façon disproportionnée les mots courants ou à haute fréquence, ce qui peut entraîner des réponses fades, trop sûres ou génériques. Cela pourrait affecter la créativité, la nuance et la capacité du système à refléter des valeurs humaines complexes.

5. Besoin d'outils d'interprétation
La méthode des chercheurs – examiner comment les modèles notent tous les jetons possibles – est une nouvelle façon puissante de rendre les modèles de récompense plus interprétables. Cela pourrait devenir une technique standard pour vérifier l'alignement de la valeur dans les futurs systèmes.

6. Les risques de malalignement se propagent en aval
Étant donné que les modèles de récompense façonnent le comportement de modèles linguistiques puissants à travers l'apprentissage de renforcement (RLHF), tout biais ou désalignement au niveau du modèle de récompense peut se propager tranquillement dans les systèmes d'IA maintenant utilisés dans l'éducation, les soins de santé, le service à la clientèle et les politiques.

7. Les valeurs humaines sont complexes et difficiles à encoder
En fin de compte, l'étude souligne la fragilité et la nuance de l'alignement de l'IA avec les valeurs humaines. L'encodage des valeurs en un seul score numérique simplifie excessivement la complexité morale et cette simplification excessive peut avoir des effets réels.

IMG_4164.jpeg (494.93 Kio) Consulté 97 fois

https://arxiv.org/pdf/2506.07326

[Remundo]

en effet Christophe, le cadrage rapide qui affecte fortement les extrants est ici un point-clé, que l'on peut mieux comprendre en analysant les vraisemblances structurelles du métacontexte dialectique de manière à transcender les échanges informels dans leur subjectivité.

tout cela n'est qu'une approche herméneutique et situationnelle.

[Ahmed]

...c'est clair

[Christophe]

en effet Christophe, le cadrage rapide qui affecte fortement les extrants est ici un point-clé, que l'on peut mieux comprendre en analysant les vraisemblances structurelles du métacontexte dialectique de manière à transcender les échanges informels dans leur subjectivité.

tout cela n'est qu'une approche herméneutique et situationnelle.

Ahmed sort de ce corps !!!