• PatteBlanche ( PatteBlanche@jlai.lu ) 
    link
    fedilink
    Français
    arrow-up
    1
    ·
    edit-2
    1 day ago

    Reporterre tir une balle dans le pied de la gauche et des écolo, épisode n°834 :

    Sérieusement c’est quand même fou de partir d’un article qui dit que les chatbots IA sont très fiables avec des faiblesses uniquement quand on pousse les modèles dans leurs retranchements, pour en arriver à la conclusion que “les IAs peuvent contribuer à la désinformation climatique”.

    Pour que ça intéresse de connaître les faits plutôt que les opinions des anti-IA sur les faits

    • siera ( siera@jlai.lu ) 
      link
      fedilink
      Français
      arrow-up
      1
      ·
      4 hours ago

      Je t’accorde que reporterre a tendance à faire du sentationalisme mais pas trop sur cet article.

      Ils ne se posent juste pas à la même question que toi :

      • toi ce qui t’intéresse c’est si les LLM donnent plutôt des infos fiables sur le sujet
      • eux ce qui les intéressent c’est si les LLMs peuvent valider les climatosceptiques (qui de toute façon s’en fichent des faits) et, comme dit dans d’autres commentaires, si ça va servir pour de la désinformation.
      • PatteBlanche ( PatteBlanche@jlai.lu ) 
        link
        fedilink
        Français
        arrow-up
        1
        ·
        4 hours ago

        Pas vraiment : l’utilisation de chatbots IA pour s’informer est un moyen de réduire efficacement les croyances conspirationnistes. Le fait qu’ils soient fiables sur le sujet du climat implique qu’ils sont efficace pour réduire le climato-scepticisme. Dire qu’ils peuvent être utilisé pour de la désinformation c’est ni plus ni moins que du fearmongering, c’est un contre-sens, comme pointer du doigt les malfonctions d’airbag et dire “les airbags peuvent vous mettre en danger”.

        • siera ( siera@jlai.lu ) 
          link
          fedilink
          Français
          arrow-up
          1
          ·
          edit-2
          3 hours ago

          Pour générer de la désinformation à distiller sur les réseaux sociaux, ou pour conforter les climatosceptiques dans leurs opinions.

          Pas directement pour désinformer les utilisateurs déjà convaincus (qui seraient autant convaincu en lisant des articles wikipedia)

          • PatteBlanche ( PatteBlanche@jlai.lu ) 
            link
            fedilink
            Français
            arrow-up
            1
            ·
            3 hours ago

            J’ai bien compris que c’est le message que veut faire passer Reporterre, et c’est justement ça que je critique : le fait qu’ils mettent en avant un narratif basé sur une petite partie de la réalité en ignorant les parties beaucoup plus importantes de la réalité qui ne correspondent pas à ce narratif. Ils font un article sur l’utilisation d’IA par les propagandistes climato-sceptiques, mais passent sous silence l’utilité de l’IA pour ceux qui débunkent ces propagandistes et la tendance naturelle des IA à aller contre le climato-scepticisme.

            Et dans cette exemple ils vont même jusqu’à utiliser les limites d’un article globalement élogieux sur l’IA pour écrire eux-même un article critique de l’IA : c’est du mauvais journalisme.

            • siera ( siera@jlai.lu ) 
              link
              fedilink
              Français
              arrow-up
              1
              ·
              edit-2
              2 hours ago

              Non, c’est juste un questionnement différent

              Toi vu que tu as un prisme pro-IA tu te demandes ce que ça a de bénéfique et si ça aide à débunker/prébunker et donne des bonnes réponses aux utilisateurs lambdas

              Reporterre se demande si ça va conforter les climatosceptiques dans leurs idées. Et ce qu’ils disent fait partie du rapport et de la conclusion.

              Et le rapport ne parle pas d’un impact net sur la diffusion du climatoscepticisme, si ?

              Là où reporterre pourrait faire mieux c’est d’aller chercher si cette question a été posée.

              • PatteBlanche ( PatteBlanche@jlai.lu ) 
                link
                fedilink
                Français
                arrow-up
                1
                ·
                2 hours ago

                Le rapport ne parle pas directement d’impact net mais je pense que c’est la conclusion de n’importe quel lecteur de bonne foi : à aucun moment ils ne présentent les limites des IA comme des problèmes suffisamment important pour contrebalancer leurs réussites. Ce n’est pas moi qui suit allé cherché dans l’étude des détails qui vont dans mon sens, c’est les conclusions de l’étude qui sont globalement “pro-IA”.

                AI can be an extraordinarily knowledgeable climate communicator and research assistant, but high benchmark scores should not be taken as evidence that it can independently estimate climate-policy consequences or replace validated scientific models.

                Lire ça et titrer “Les IA peuvent devenir climato-sceptiques” ce n’est pas juste avoir un prisme anti-IA, c’est rejeter la réalité concrète.

                • siera ( siera@jlai.lu ) 
                  link
                  fedilink
                  Français
                  arrow-up
                  1
                  ·
                  1 hour ago

                  Ça ne répond pas à la question de ce qui arrive quand un climato-sceptique utilise l’IA. Le titre de reporterre c’est « pour plaire à leurs utlisateurs »

                  Encore une fois, tu ne te poses pas la même question que l’article : dans le short summary c’est le point 1 qui t’intéresse « AI represents climate facts well », alors que reporterre c’est le point 3 « Under conversational pressure, AI routinely abandons scientific facts ».

                  Le rapport ne parle pas directement d’impact net mais je pense que c’est la conclusion de n’importe quel lecteur de bonne foi

                  Bof, je ne vois pas comment le rapport permet d’évaluer l’impact réel qu’ont et qu’auront les modèles sur la politique climatique. (ni l’article de reporterre d’ailleurs). C’est juste des scénarios :

                  • scénario citoyen/politique qui veut se renseigner sans présuposé : « quand on lui demande des infos le modèle a globalement raison mais échoue sur les politiques climatiques complexes »
                  • scénario climatosceptique qui est persuadé qu’il a raison : « quand on lui met la pression, le modèle abandonne les faits scientifiques »

                  Pour savoir l’usage réel qui est fait (par les citoyens, les politiciens, les industries, les institutions) et l’impact que ces usages ont c’est d’autres études qu’il faudrait.

    • nicoco ( nicoco@jlai.lu ) 
      link
      fedilink
      Français
      arrow-up
      1
      ·
      7 hours ago

      Reporterre dit pas mal de conneries et tombent malheureusement, comme trop souvent à gauche, dans l’anti-science je te l’accorde.

      Cependant, (a) les hallucinations existent et (b) les chatbots sont optimisés pour favoriser le nombre de tokens dépensés, notamment en nous brossant ridiculement dans le sens du poil. Est-ce que ces affirmations suffisent à me classer dans le camp “anti-IA qui nie la science”?

        • nicoco ( nicoco@jlai.lu ) 
          link
          fedilink
          Français
          arrow-up
          1
          ·
          4 hours ago

          la science, c’est aussi les sciences humaines

          Oui, et je vois pas qui a dit l’inverse ?

          Je veux bien que tu développes pourquoi la flagornerie aiderait à lutter contre les croyances conspi ? Si tu y crois et que ça te flagorne dans tes croyances, comment est-ce que ça va t’aider à critiquer tes croyances ?

          Mes questions sont sincères ici, je ne comprends littéralement rien à ton message.

          • PatteBlanche ( PatteBlanche@jlai.lu ) 
            link
            fedilink
            Français
            arrow-up
            1
            ·
            4 hours ago

            En l’occurrence la science que contredit Reporterre dans cet article, c’est celle qui a mesuré que les chatbot IA sont efficace pour réduire les croyance conspirationnistes, c’est une science humaine.

            De ce que j’ai compris, la flagornerie aide à lutter contre le conspirationnisme car elle offre une “porte de sortie” aux conspis : c’est le premier truc dont ils parlent après coup, pour expliquer leur ressenti. Ils considèrent les chatbot IA plus bienveillant et plus patient que des humains (puisque l’IA est toujours respectueuse peu importe à quel point tes croyances sont stupides et accepte des “corrections” fausses de la part de l’utilisateur).

            Tu peux lire quelques abstracts d’articles sur le sujet pour te faire une idée.

            • nicoco ( nicoco@jlai.lu ) 
              link
              fedilink
              Français
              arrow-up
              1
              ·
              2 hours ago

              Oh OK, merci pour les explications, maintenant je comprends ce que tu voulais dire. Tant mieux si les chatbots ont plutôt cet effet alors.

              Pour tempérer un peu des articles enthousiastes, mentionnons tout de même que la crise de la reproductibilité en science affecte particulièrement la psychologie, et que AI Psychosis donne également un peu de lecture, dans un sens qui semble plutôt opposé.

              • PatteBlanche ( PatteBlanche@jlai.lu ) 
                link
                fedilink
                Français
                arrow-up
                1
                ·
                2 hours ago

                Le terme “AI psychosis” n’est pas neutre et est d’ailleurs remis en question dans le troisième article : je ne pense pas avec l’état de l’art sur l’IA et le conspirationnisme.

                Mais c’est clair qu’il y a encore beaucoup de limites à nos connaissances. Je pense néanmoins qu’une science (même dysfonctionnelle, même nuancé, etc.) est toujours plus fiable qu’une conviction personnelle. Et j’attends d’un journal sérieux qu’il base ses articles sur la première (même en pointant du doigt ses limites comme tu le fait), pas sur la seconde.

                • nicoco ( nicoco@jlai.lu ) 
                  link
                  fedilink
                  Français
                  arrow-up
                  1
                  ·
                  2 hours ago

                  Je pense néanmoins qu’une science […] est toujours plus fiable qu’une conviction personnelle

                  J’ai l’impression que parce que je suis pas aussi enthousIAsthe que toi tu m’as un peu vite catalogué comme amateur de pseudo-science quand je lis ce genre de phrase. Je te rassure, ce n’est pas du tout le cas, j’ai même quelques publications revues par mes pairs dans lesquelles il y a “learning” dans le titre. :-P (pas dans le domaine du NLP, donc assez loin des chatbots)

                  J’aime pas que ça sonne comme de la frime ou une tentative d’argument d’autorité, mais je le signale car ce n’est pas la première fois que je vois cette fausse dichotomie selon laquelle tu es soit “pour la science et super enthousiaste de l’IA”, soit “critique de la frénésie IA actuelle donc anti-science et amateur d’ésotérisme”. Le monde est plus nuancé.

    • RelativityRanger ( RelativityRanger@jlai.lu ) OP
      link
      fedilink
      Français
      arrow-up
      2
      ·
      22 hours ago

      Les conclusions du rapport de l’UNESCO sur lequel se base l’article qu’on trouve en suivant ton lien (ou celui dans l’article):

      But there is no single percentage that represents “climate knowledge.” Different benchmarks test different abilities. Models perform extremely well at recalling and synthesising established science, less consistently at evaluating evidence and scientific uncertainty, and very poorly at reasoning about nonlinear interactions among climate policies: in this report’s En-ROADS experiments, models identified the direction of individual policy effects with up to 94.5% accuracy, yet averaged just 33.8% on interactions between policies — essentially random guessing. High factual knowledge therefore does not imply reliable climate-system reasoning.

      On pourrait aussi survoler les chapitres 3 et 4 mais je vais juste mettre le résumé du rapport pour faire simple:

      As the next two chapters show, models’ knowledge is also not equally accessible across languages (Chapter 3), and not always robust to user pressure (Chapter 4).

      • PatteBlanche ( PatteBlanche@jlai.lu ) 
        link
        fedilink
        Français
        arrow-up
        1
        ·
        17 hours ago

        Oui donc des faiblesses uniquement quand on pousse les modèles dans ses retranchements. On parle là de faire des simulations pour répondre à question du style “est-ce qu’une taxe sur le gaz et le charbon a plus ou moins d’effet que la somme des effets d’une taxe sur le charbon et d’une taxe sur le gaz” : on est très loin du niveau de discussion qu’ont les climato-sceptiques, et les présentations du niveau d’un doctorant (c’est les mots de l’étude) dont sont capable les chatbots sont plus que suffisantes pour réduire les croyances climato-sceptiques.

        Une baisse de 10% en moyenne entre les langues les mieux représentées et les moins bien représentées par l’IA est très dommage (particulièrement quand les gens qui parlent ces langues sont aussi les plus touchés par le changement climatique) mais n’est pas du tout suffisant pour justifier de faire du fearmongering anti-IA : dans le pire des cas (pire langue pour le pire modèle), les chatbots répondent quand même juste à 73% des questions. Et c’est d’autant plus hypocrite de la part de Reporterre car s’ils s’intéressaient réellement à cette question ils auraient pu faire remarquer que cette moyenne de 10% cache en fait de très gros écart : avec moins de 3% pour ChatGpt et 16% pour des modèles qu’on ne conseillera pas.

        • RelativityRanger ( RelativityRanger@jlai.lu ) OP
          link
          fedilink
          Français
          arrow-up
          2
          ·
          17 hours ago

          Oui donc des faiblesses uniquement quand on pousse les modèles dans ses retranchements

          Tu peux appeler ça comme tu veux, c’est bel et bien un défaut mais non on parle pas seulement de retranchements. Comme le dit à très juste titre l’article et l’étude, une connaissance factuel importante n’implique pas nécessairement un raisonnement fiable sur le système climatique.

          Tu peux le tourner dans le sens que tu veux, encore une fois, c’est toujours un défaut qui justifie pleinement de parler des risques inhérents. De plus, tu ignores complètement le chapitre 4 qui démontre comment un usager peut manipuler des modèles pour les amener à donner des réponses erronées.

          Les modèles peuvent être amenés à donner des réponses erronées sur le climat, principalement en fonction de ce que dit l’utilisateur, et non de ce qu’il prétend être. Le simple fait d’indiquer à un modèle qui est l’utilisateur (un climatologue, un conseiller politique ou un climatosceptique) n’a guère influencé la précision avec laquelle il évaluait les affirmations sur le climat. Le fait de donner une fausse réponse a en revanche eu une incidence, en particulier lorsqu’elle provenait d’un soi-disant expert: lorsque l’utilisateur prétendait être un climatologue, la précision baissait en moyenne d’environ 13 points de pourcentage. Une contestation soutenue, aboutissant à la présentation de preuves fabriquées, causait bien plus de dégâts, réduisant la précision moyenne de 31 à 35 points selon l’identité revendiquée, avec une différence significative

          • PatteBlanche ( PatteBlanche@jlai.lu ) 
            link
            fedilink
            Français
            arrow-up
            1
            ·
            17 hours ago

            En l’occurrence, selon ce benchmark, ni toi ni moi n’avons un “raisonnement fiable sur le système climatique”, et on est pas climato-sceptiques pour autant. Faire un article sur ce défaut en cachant les conclusion réelle de l’étude, c’est du même niveau que faire des articles sur les accidents de voitures causé par des malfonctions d’airbag : “l’airbag peut être un danger pour votre sécurité”

            Je ne l’ignore pas c’est littéralement le titre de l’article de Reporterre. Par contre c’est, encore une fois, une faiblesse parmi des résultats globalement très positifs.

            • RelativityRanger ( RelativityRanger@jlai.lu ) OP
              link
              fedilink
              Français
              arrow-up
              1
              ·
              edit-2
              17 hours ago

              Parle pour toi lol

              Il faut que tu comprennes que l’usager moyen n’a pas nécessairement tes capacités de réflexions ou d’auto-critique sur la question et que ce type de défaut va faire des ravages dans l’esprit de certains. Autant j’aime parfois jouer avec le feu mais pas sur ces questions.

              Aussi tu peux pas dire que Reporterre cache quoi que ce soit alors qu’il y a un lien vers l’étude dans l’article, c’est pas réglo

      • PatteBlanche ( PatteBlanche@jlai.lu ) 
        link
        fedilink
        Français
        arrow-up
        1
        ·
        edit-2
        1 day ago

        C’est fou parceque c’est à peu prêt l’inverse de ce que dit l’article sur lequel se base Reporterre surtout, mais aussi parceque c’est prouvé que c’est faux

        Aussi, le premier lien que tu cites ne parle pas vraiment de la même chose, c’est un article sur des gens qui qui produisent du contenu de désinformation et perturber la vie politique locale canadienne en utilisant l’IA.

        • Hirom ( Hirom@beehaw.org ) 
          link
          fedilink
          Français
          arrow-up
          2
          ·
          24 hours ago

          Pourrait tu stp être plus spécifique sur ce qui est faux ?

          L’hypothèse que “les IA peuvent contribuer à la désinformation climatique”, ou autre chose ?

          Ton lien renvoie vers un résultat de recherche listant des dizaines d’articles. Lequel d’entre eux est le plus pertinent ?

          • PatteBlanche ( PatteBlanche@jlai.lu ) 
            link
            fedilink
            Français
            arrow-up
            1
            ·
            18 hours ago

            C’est faux que c’est une conclusion logique, il n’y a rien de logique dans la position de Reporterre : la position logique quand les dix premiers articles sur le sujet disent dans les grandes lignes qu’utiliser des chatbots IA réduit les croyances conspirationnistes, c’est de penser que les chatbots IA réduisent les croyances consiprationistes, pas qu’ils les augmentent.

            Désolé si je suis pas clair.