La capacité de GPT qui me fascine le plus
ChatGPT est nul aux échecs, il paraît.
L'article de Mathieu Acher sur les performances de gpt-3.5-turbo-instruct avec diverses variantes :
https://blog.mathieuacher.com/GPTsChessEloRatingLegalMoves/
L'article de Nicholas Carlini sur les performances de gpt-3.5-turbo-instruct sur des puzzles d'échecs.
https://nicholas.carlini.com/writing/2023/chess-llm.html
L'article sur Othello-gpt : "Emergent World Representations : Exploring a Sequence Model Trained on a Synthetic Task"
https://arxiv.org/abs/2210.13382
Un article de vulgarisation au sujet d'Othello-gpt :
https://thegradient.pub/othello/
Le premier article d'Adam Karvonen : "Chess-GPT's Internal World Model"
https://adamkarvonen.github.io/machine_learning/2024/01/03/chess-world-models.html
Son deuxième article : "Manipulating Chess-GPT's World Model"
https://adamkarvonen.github.io/machine_learning/2024/03/20/chess-gpt-interventions.html
L'article académique qu'il en a tiré : "Emergent World Models and Latent Variable Estimation in Chess-Playing Language Models"
https://arxiv.org/abs/2403.15498
L'article de DeepMind "Grandmaster-Level Chess Without Search" https://arxiv.org/html/2402.04494v1
Tags : Jeux vidéos Informatique Philosophie Intelligence artificielle
118 réactions à cet article
-
Geoffrey Hinton à la fin résume très bien ce que sont les IA et ça explique pourquoi nous ne pouvons pas comprendre le résultat donné par une IA (qu’il soit bon ou mauvais).
Les hommes donnent un réseau neuronal vierge, des algorithmes pour interagir avec les données (obtenir une "convergence") et surtout des données d’entraînement. Et avec tout ça, le résultat obtenu est trop complexe (cerveau artificiel) pour être compris par un humain et on ne peut plus expliquer comment ce cerveau artificiel trouve ses réponses à partir des données d’entrées.
C’est aussi un gros problème (appelé "hallucination" des IA), car on n’a aucun moyen de "fixer" un réseau neuronal qui a déjà subi sa phase d’apprentissage. Les "seules" choses que l’on peut modifier sont :
- le réseau neuronal initial
- les algorithmes pour le faire évoluer en fonction des données reçues
- les données d’apprentissage
Et c’est évidemment très coûteux de reformer un nouveau "cerveau" en recommençant un apprentissage à zéro, de sélectionner des données correctes et intéressantes parmi la montagne de déjections qu’on peut trouver sur internet.
Si on passait autant de temps à former les IA qu’on passe de temps à former un humain (20 ans environ), et bien il faudrait qu’une entreprise dépense 20 ans-homme pour former de manière "propre" une IA. Et évidemment, toutes les entreprises en IA cherchent à gagner sur cette partie (en automatisant la formation au risque d’injecter des données fausses) ou en payant des gens sans trop de formation pour vérifier les résultats.
Mais le plus grave, c’est que si un jour les IA commencent à nous dire des choses réellement géniales, nous n’aurons pas du tout les moyens de les comprendre et d’être sûrs si c’est vrai ou faux : soit nous mettrons en pratique ce qu’elles nous diront (risque existentiel pour l’humanité aussi bien que risque d’une découverte majeure) soit on les laissera causer dans leur coin pour éviter que l’application sans compréhension de notre part de la réflexion des IA ne débouche sur une catastrophe.
-
-
@Gaspard Delanuit
il cherche à s’auto-rassurer sur sa place dans l’univers. -
@yoananda2
Non, il maîtrise le sujet, contrairement à beaucoup d’autres qui n’y comprennent rien et se contente de bêler avec les moutons.
-
-
@Gaspard Delanuit
vous pensez qu’il maitrise le sujet parce qu’il dit des choses qui vous plaisent. Il n’y a pas qu’un seul troupeau de moutons, il y a plusieurs troupeaux qui bêlent chacun leur propre petite ritournelle pour se réconforter. -
"Monsieur Phi", par exemple, ne comprend pas le sujet dont il parle.
-
@yoananda2
"vous pensez qu’il maitrise le sujet parce qu’il dit des choses qui vous plaisent."
Votre supposition est erronée. Si je pense qu’il maîtrise le sujet, ce n’est pas parce que son propos me plaît (au contraire, c’est plutôt désenchanteur pour quelqu’un comme moi qui aime la SF et a découvert Isaac Asimov à 13 ans) mais c’est parce que je comprends ce qu’il dit et parce que son propos est à la fois raisonné et vérifié.
"Il n’y a pas qu’un seul troupeau de moutons, il y a plusieurs troupeaux qui bêlent chacun leur propre petite ritournelle pour se réconforter."
-
@Gaspard Delanuit
Et vous, vous dites cela parce que cela vous plairait que cela soit vrai ? En s’aventurant sur ce manège on ne va nulle part, on tourne en rond.
vous tournez peut-être en rond, moi non parce que je l’ai dit le premier.
mais c’est parce que je comprends ce qu’il dit et parce que son propos est à la fois raisonné et vérifié.
oui vous pensez cela parce que ça confirme vos à priori. Comme il dit ce que vous avez envie d’entendre vous concluez que ses propos sont raisonnés et vérifié. Il suffit alors de trouver qq justifications arrangeantes.
Mais il y a aussi des personnes capables de s’affranchir du conditionnement moutonnier sur certains sujets.
Ceux qui pensent ça font juste parti du troupeau de ceux qui pensent ça.
Ne me dites pas que je tourne en rond, j’avais déjà anticipé votre réponse en écrivant ma phrase précédente (qui vous alliez penser ne pas faire partie d’un troupeau). Je ne fais que vous suivre.
-
@yoananda2
« Ceux qui pensent ça font juste parti du troupeau de ceux qui pensent ça.«
Donc si je te suis, quoiqu’on pense ou quoiqu’on fasse, on est de toute façon un mouton, c’est juste le troupeau qui change, c’est bien ça ? Et toi tu estimes être, certes, un mouton mais un mouton « conscient » d’en être un (contrairement à Gaspard et aux autres). J’ai bon ?
-
@yoananda2
vous tournez peut-être en rond, moi non parce que je l’ai dit le premier.
bla bla bla ...
y a des gens qui te lisent ou c’est juste du nombrilisme ? -
@micnet
Donc si je te suis, quoiqu’on pense ou quoiqu’on fasse, on est de toute façon un mouton, c’est juste le troupeau qui change, c’est bien ça ? Et toi tu estimes être, certes, un mouton mais un mouton « conscient » d’en être un (contrairement à Gaspard et aux autres). J’ai bon ?
Je n’ai pas dit ça. Est-ce qu’on peut déduire ce que tu dis de ce que j’ai fait ? oui, on peut, mais on pourrait aussi en déduire d’autres choses.
Je me sens normand aujourd’hui ! héhéhé ou berger (réponse du berger à la bergère : le berger fait-il partie du troupeau ? vous avez 2h) hahaha
-
@yoananda2
"Ne me dites pas que je tourne en rond, j’avais déjà anticipé votre réponse."
-
@Gaspard Delanuit
vous allez peut-être même rattraper le dernier
so what ? on deviendra peut être copain !
-
@yoananda2
Ou même plus si affinités.
Et à part ça, toujours aucune idée à présenter sur le sujet ? Merci quand même d’être passé nous faire un coucou.
-
"L’intelligence artificielle n’existe pas. En tous cas, pas sous la forme que présentent les médias et les journalistes depuis un an qui reprennent en cœur le buzz médiatique organisé autour de l’I.A. Ce n’est pas moi qui l’affirme : c’est Sam Altman, le PDG d’OpenAI, l’entreprise qui développe ChatGPT (...)"
-
@Gaspard Delanuit
Ce n’est pas moi qui l’affirme : c’est Sam Altman,
sauf que c’est faux.
Preuve (inutile mais bon voila, c’est vous qui la fournissez) de ce que je disais plus haut donc ...
c’est un expert parce qu’il dit des choses qui vous plaisent.
-
@Gaspard Delanuit
C’est tout à fait vrai que les journalistes qui n’y connaissent rien (et ceux du marketing comme J-F Messier) parlent d’IA dès qu’un produit un peu tech sort, c’est plus vendeur (à qui la faute ?).
Mais en racontant toutes ces âneries, il prouve qu’il ne connaît strictement rien au sujet. Le seul point où je lui donne raison, c’est notre adaptation pour reconnaître rapidement d’autres animaux : on parle de milliers d’années d’évolution pour la survie dans un milieu hostile. Les intelligences artificielles (avec suffisamment de neurones) commencent tout juste à exister et elles n’ont jamais eu à se battre pour leur survie puisqu’elles ne sont pas vivantes.
Par contre, les IA ont un avantage inouï qui va forcément les rendre redoutables : il n’y a pas de limite physique à la place que peut occuper un réseau neuronal artificiel (ni à son poids ou à sa consommation d’électricité : 10 terrains de football, c’est pas un problème). Le combat est perdu d’avance et J-F Messier est l’idiot utile des entreprises privées qui travaillent sur l’IA : il rassure tous les gogos pour qu’ils ne s’inquiètent de rien, jusqu’à ce qu’on les fasse disparaître parce qu’on n’aura plus besoin de leurs services et que nos oligarques n’ont pas tendance à s’embarrasser avec la morale. -
@Gaspard Delanuit
L’Intelligence Artificielle n’est nullement de l’Intelligence et donc ne peut être artificielle. Ce n’est que du calcul de probabilité sur des données avec un correcteur d’erreurs si elles sont confirmées. Correcteur qui ne fait qu’introduire une nouvelle donnée sur un ensemble qui donnait faux ou inversement. Ce qui permet de parler "d’apprentissage".
Il est beaucoup plus juste de parler d’Intelligence Assistée. -
@yoananda2
"sauf que c’est faux."
-
@juanyves
"Il est beaucoup plus juste de parler d’Intelligence Assistée."
-
@Gaspard Delanuit
Il est encore plus juste de ne pas parler du tout d’intelligence.
moi je parle d’intelligence (artificielle) et vous n’avez aucun moyen de m’en empêcher.
mais, je ne veux pas non plus vous imposer mon choix de mots.
vous parlez de quoi du coup ? chatGPT c’est quoi pour vous ? dans quelle catégorie vous le refourguez ? (et bien sûr, ne me dites pas "LLM" ce n’est pas une réponse, c’est comme si je vous répondiez en disant que votre frère est un "george" car c’est son prénom ou bien un mammifère).
(je précise parce que vous avez tendance à trop deprompter face à la contradiction)
Si ce n’est pas de l’intelligence, c’est quoi à la place ?
-
@Gaspard Delanuit
Il est encore plus juste de ne pas parler du tout d’intelligence.
-
@juanyves
Tout à fait d’accord.
Ne l’encouragez pas, après il est tout content dans son troupeau mental !!!
-
@Gaspard Delanuit
Qu’est-ce qui est faux ?
ha pardon, j’avais pas vu cette question. Ce qui est faux c’est ce que j’ai cité. Je recite donc puisque visiblement vous avez perdu le fil d’une ligne à l’autre :
Ce n’est pas moi qui l’affirme : c’est Sam Altman,
==> c’est ça qui est faux.
-
@yoananda2
Ce qui est faux, d’abord, c’est de m’attribuer (sinon volontairement du moins par maladresse ou omission) une phrase qui n’est pas la mienne et que j’avais pris la précaution de placer entre guillemets, suivie d’un lien.
Ensuite, vous affirmez que cette citation présente dans l’article dont je donne le lien est attribuée faussement à Sam Altman ? Ce n’est donc pas Sam Altman qui a écrit cela sur Twitter le 11 décembre 2022 ?
-
@juanyves
"juste une calculatrice performante de probabilités."
-
@Gaspard Delanuit
"juste une calculatrice performante de probabilités."
voila, comme un cerveau ou une main, qui sont des outils très performants si on en connaît les limites.
-
@Gaspard Delanuit
Ce qui est faux, d’abord, c’est de m’attribuer (sinon volontairement du moins par maladresse ou omission) une phrase qui n’est pas la mienne
quelle phrase ?
Ce n’est donc pas Sam Altman qui a écrit cela sur Twitter le 11 décembre 2022 ?
cela quoi ?
bon, je crois que vous êtes perdu. Reprenons pas à pas, comme avec un bébé.
Je vous cite intégralement, parce que visiblement, vous êtes confus.
"L’intelligence artificielle n’existe pas. En tous cas, pas sous la forme que présentent les médias et les journalistes depuis un an qui reprennent en cœur le buzz médiatique organisé autour de l’I.A. Ce n’est pas moi qui l’affirme : c’est Sam Altman, le PDG d’OpenAI, l’entreprise qui développe ChatGPT (...)"
Donc vous citez Jean François Messier, le grand expert en IA, qui lui même dit (et non pas vous), je le cite : " Ce n’est pas moi qui l’affirme : c’est Sam Altman,"
Alors là, si Sam Altman dit que l’intelligence artificielle n’existe pas, c’est vrai que ce serait un vrai expert et pas un faux expert comme JF Messier.
Sauf que cette phrase est fausse. Pourquoi ?
Parce que Sam Altman ne dit absolument pas "L’intelligence artificielle n’existe pas.".
C’est une interprétation grossière, un contre-sens, des propos de Sam Altman. qui démontre que JF Messier fait de l’idéologie et n’est pas un expert, une autorité dans le domaine de l’IA bien au contraire.
Ensuite, après cette fausse interprétation (de sa part), il déroule ses arguments biaisés ...
Et on retombe sur exactement ce que je dis depuis le début : vous l’avez décrété expert parce qu’il dit des choses qui vous plaisent, qui confirment vos à priori.
Si vous vous en étiez tenu aux propos de Sam Altman alors vous n’auriez pas pu dire que l’IA n’existe pas, car ce n’est pas ce qu’il dit.
Mais bon, je sais que vous ne savez pas gérer la contradiction et que me voila en train de devoir faire de l’explication de texte de 2 lignes ultra simples à comprendre que j’ai écrites... toute une tartine parce que vous depromptez comme chatGPT parfois.
-
@yoananda2
vous tournez peut-être en rond, moi non parce que je l’ai dit le premier.
cela quoi ?
bon, je crois que vous êtes perdu. Reprenons pas à pas, comme avec un bébé.
Je vous cite intégralement, parce que visiblement, vous êtes confus.
Mais bon, je sais que vous ne savez pas gérer la contradiction et que me voila en train de devoir faire de l’explication de texte de 2 lignes ultra simples à comprendre que j’ai écrites... toute une tartine parce que vous depromptez comme chatGPT parfois.
Jouer sur les mots pour que ton nombril n’ait surtout pas tort !!!!!!!!!! Ça prend des "tartines" pour "déprompter". J’en ai presque une indigestion.
T’as pas l’impression qu’il faudrait d’abord définir à quoi correspond d’abord le mot "Intelligence". Ce n’est pas un service secret, dans ce cas mais chez Larousse :
Intelligence Artificielle :
Ensemble de théories et de techniques mises en œuvre en vue de réaliser des machines capables de simuler l’intelligence humaine.
Intelligence :
Ensemble des fonctions mentales ayant pour objet la connaissance conceptuelle et rationnelleDonc pour résumer : est-ce que l’objet de la machine ayant une "Intelligence Artificielle" est la connaissance conceptuelle et rationnelle. Évidemment non, son objet c’est de refiler à quelqu’un d’intelligent une information dans le style d’une encyclopédie améliorée. Mais question intelligence : zéro.
Tu devrais quand même essayer d’arrêter de tourner autour de ton nombril : ça s’appelle nombrilisme. -
@yoananda2
Salut Yo,
Bon tu vas me dire que je me mêle de ce qui ne me regarde pas mais j’ai l’impression que tu "sodomises un peu les diptères" dans ces échanges.
Si je reprends le lien de Gaspard, on voit que JF Messier cite un tweet de Sam Altman qui dit ceci (traduit en français) à propos de l’IA :
"ChatGPT est incroyablement limité, mais suffisamment bon dans certains domaines pour créer une impression trompeuse de grandeur. C’est une erreur de s’y fier pour quoi que ce soit d’important en ce moment. C’est un aperçu du progrès ; nous avons beaucoup de travail à faire sur la robustesse et la véracité. "
Alors bien sûr, Sam Altman ne dit pas que l’IA n’existe pas (c’est un abus de langage) mais il la relativise quand même beaucoup et c’est bien ça le fond du message me semble-t-il..
-
@micnet
mais j’ai l’impression que tu "sodomises un peu les diptères" dans ces échanges.
ben oui, c’est un peu ce que je dis moi aussi au fond.
Alors bien sûr, Sam Altman ne dit pas que l’IA n’existe pas (c’est un abus de langage) mais il la relativise quand même beaucoup et c’est bien ça le fond du message me semble-t-il..
d’abord, merci. Il ne dit absolument pas que l’IA n’existe pas comme le prétend l’autre, il dit juste qu’elle est "incroyable limitée". Ce qui n’est pas du tout, du tout la même chose, et c’est un glissement sémantique de passer de l’un à l’autre.
Je ne pinaille pas, contrairement à ce que tu crois. Ca démontre juste la méconnaissance du sujet.
-
@micnet
Bon tu vas me dire que je me mêle de ce qui ne me regarde pas
héhéhé, non mon cher, c’est un forum, c’est un peu le principe non ?
ceci dit, oui, tu interfères dans une discussion qui aurait pu tourner "non dualiste" (donc pas vraiment ta came) à un moment mais je pense que ce moment est passé.
-
@yoananda2
"Si vous vous en étiez tenu aux propos de Sam Altman alors vous n’auriez pas pu dire que l’IA n’existe pas, car ce n’est pas ce qu’il dit."
On ne cite jamais quelqu’un dans un article pour s’en tenir au contenu de la citation, ce serait juste idiot.
"L’intelligence artificielle" n’existe pas au sens que lui a donné le journalisme à sensation et les publicitaires travaillant à faire monter la valeur boursière d’un certain secteur de l’industrie informatique. Je vous ai déjà expliqué cela. L’article de Messier vous présentent à nouveau des éléments de compréhension (que tous les gens qui travaillent sérieusement avec l’IA connaissent parfaitement).
Manifestement, vous n’arrivez pas à identifier les occasions où vous devriez simplement écouter et comprendre. J’essaie de vous faire entrevoir quelque chose, pas de vous priver de quelque chose.
-
@Gaspard Delanuit
Cette citation vient illustrer une partie de l’article. Mais cet article dans son ensemble n’a pas été écrit pour "s’en tenir" au propos de Sam Altman.
merci captain obvious. mais ce n’est pas le sujet. Le sujet c’est que son point de départ est faux. Ce n’est pas simplement une approximation, une déformation, un manque de rigueur. C’est faux.
J’essaie de vous faire entrevoir quelque chose, pas de vous priver de quelque chose.
C’est loupé. Qui vous dit que ce n’est pas dans l’autre sens ?
-
@yoananda2
Le sujet c’est que son point de départ est faux. Ce n’est pas simplement une approximation, une déformation, un manque de rigueur. C’est faux.
Mais oui, Yoananda, le dernier mot, tu l’auras avec un peu d’obstination.
« Si la cause est bonne, c’est de la persévérance. Si la cause est mauvaise, c’est de l’obstination. » -
@yoananda2
Désolé Yo j’y reviens mais j’ai l’impression que tu pinailles un peu sur des détails. Oui au sens stricto sensu, l’IA existe bel et bien mais Gaspard essaie juste de t’expliquer que cette IA ne revêt pas l’importance que les médias lui accordent. Que c’est « peanuts » finalement. C’est ça le sens du message (du moins c’est comme ça je le comprends). Tu n’as d’ailleurs pas répondu à la remarque suivante :
« L’intelligence artificielle" n’existe pas au sens que lui a donné le journalisme à sensation et les publicitaires travaillant à faire monter la valeur boursière d’un certain secteur de l’industrie informatique.« Car de mon point de vue c’est ça la vraie question que pose cet article : est-ce qu’on accorde pas trop d’importance à l’IA ? (Au-delà des questions sémantiques stériles). Et c’est là dessus qu’on peut avoir un débat. (Je précise d’ailleurs qu’à titre perso, je ne réponds pas nécessairement non à ma propre question)
-
@micnet
Désolé Yo j’y reviens mais j’ai l’impression que tu pinailles un peu sur des détails.
Non parce que ton l’argumentaire Qasparien est fondé sur l’autorité supposée de Messier en la matière, qui lui même la tiendrait de l’autorité "suprème" : sama !
Hors c’est faux. Donc, c’est bel et bien un détail, mais je ne pinaille pas. Si tu enlèves cette référence, alors, Messier est juste un "Expert new tech en vente et marketing" ... va voir son parcours universitaire sur sa page linkedin.
C’est un quidam qui donne son opinion (il a le droit), pas du tout une autorité "qui s’y connait".
Hors il se trouve que dès sa première phrase, il a faux.
Gaspard essaie juste de t’expliquer que cette IA ne revêt pas l’importance que les médias lui accordent
Non. La polémique c’est sûr le qualificatif d’intelligence qu’on donne à ces outils. Que les médias le fassent ou pas, c’est secondaire au fond, parce que même si les médias ne le faisaient pas, Gaspard et moi on aurait le même désaccord (chose qu’il ne sait pas gérer si ce n’est avec des attitudes d’autiste).
« L’intelligence artificielle" n’existe pas au sens que lui a donné le journalisme à sensation et les publicitaires travaillant à faire monter la valeur boursière d’un certain secteur de l’industrie informatique.« Car de mon point de vue c’est ça la vraie question que pose cet article : est-ce qu’on accorde pas trop d’importance à l’IA ?
Tu me demande de répondre à ça. Ce ne sont pas les journalistes à sensations qui appellent ça de l’intelligence, mais les chercheurs du domaine, et ce depuis très longtemps, ça remonte à Turing...
sur l’importance qu’on accorde à l’IA, j’en sais rien, c’est le temps qui le dira, moi je pense que c’est tout à fait justifié au regard de ce qui se passe déjà (et pas au regard de ce qui pourrait se passer).
Je réponds à ta question.
-
@yoananda2
« ton l’argumentaire Qasparien est fondé sur l’autorité supposée de Messier en la matière, qui lui même la tiendrait de l’autorité "suprème" : sama !«
Non, non je ne me fonde pas du tout sur ce monsieur Messier (dont je découvre l’existence) d’autant que je ne connais absolument rien sur le fonctionnement des IA ni sur leur « généalogie ». Je n’ai d’ailleurs aucune idée arrêtée sur le bienfait ou pas des IA. Comme ça c’est clair. Je réagissais juste au fait que tu surréagissais, de mon point de vue, à la formule « l’IA n’existe pas ». Moi j’ai compris cette formule comme lorsqu’on évoque par exemple un politique qui représente 1% d’intention de votes dans les sondages et dont on dit qu’il « n’existe pas politiquement ». Voilà tout.
« La polémique c’est sûr le qualificatif d’intelligence qu’on donne à ces outils.« Oui je pense que c’est bien ça le fond du débat mais tu ne l’as pas abordé comme ça dans tes échanges avec Gaspard car tu es parti plutôt sur une querelle d’ordre sémantique que sur le vrai débat de fond, d’où ma réaction.
« c’est le temps qui le dira, moi je pense que c’est tout à fait justifié au regard de ce qui se passe déjà voilà, là on est au cœur du sujet
-
@yoananda2
"C’est loupé. Qui vous dit que ce n’est pas dans l’autre sens ?"
Des raisonnements clairs vous sont présentés, vous ne les comprenez pas, vous êtes incapable d’y répondre, vous errez dans des chipotages éristiques puériles comme s’il s’agissait de lutter pour remporter je ne sais quelle victoire à un concours de mauvaise foi dans une cour de récré. C’est bien dans ce sens là que ça se passe et pas dans l’autre sens. Si vous tenez tant que ça à rester dans le groupe des pigeons à qui on fait prendre des vessies pour des lanternes, tant mieux ou tant pis pour vous.
"User
Est-ce que Chatgpt est vraiment intelligent ?ChatGPT
Je suis conçu pour traiter et générer du texte de manière sophistiquée en fonction de l’énorme quantité d’informations que j’ai apprises. Cela peut sembler intelligent dans certains contextes, mais gardez à l’esprit que je ne possède pas de conscience ou de compréhension réelle comme le font les êtres humains. Je suis plus une création technologique avancée qu’un être doté d’intelligence au sens humain du terme."
-
-
Ajouter une réaction
Pour réagir, identifiez-vous avec votre login / mot de passe, en haut à droite de cette page
Si vous n'avez pas de login / mot de passe, vous devez vous inscrire ici.
FAIRE UN DON