this post was submitted on 06 May 2024
56 points (93.8% liked)

Forum Libre

858 readers
68 users here now

Communautés principales de l'instance

Nous rejoindre sur Matrix: https://matrix.to/#/#jlai.lu:matrix.org

Une communauté pour discuter de tout et de rien:

Les mots d'ordre sont : respect et bienveillance.

Les discussions politiques sont déconseillées, et ont davantage leur place sur

Les règles de l'instance sont bien entendu d'application.

Fils hebdomadaires"

"Demandez-moi n'importe quoi"

Communautés détendues

Communautés liées:

Loisirs:

Vie Pratique:

Communautés d'actualité

Société:

Pays:

Communauté de secours:

founded 1 year ago
MODERATORS
just_chill@jlai.lu
Baleine@jlai.lu
inlandempire@jlai.lu
Saule@jlai.lu
56
Je bosse au 4/5 sur les modèles de langage (LLM, parfois appelées IAs) et à 2/5 sur la robotique open hardware AMA (jlai.lu)
submitted 9 months ago by keepthepace_@jlai.lu to c/forumlibre@jlai.lu
113 comments fedilink hide all child comments
 

Hello!

bon slrpnk.net a l'air d'être dans les choux alors je lance ce post avec mon compte de secours jlai.lu

Alors je lance cet AMA car ça fait un moment que je bouffe du machine learning à temps plein et pour suivre les news technique, je passe le plus clair de mon temps à lire de l'anglais. Et je trouve qu'en français, ben y a pas grand chose. C'est presque uniquement du discours dystopique mal informé.

Rien sur la recherche sur l'alignement, rien sur les modèles open source (condition sine qua non pour que ça se passe bien), rien sur les évolutions sociales positives que ça peut amener.

On parle juste de OpenAI, Google et Musk qui ne sont que quelques arbres malades d'une forêt bien plus grande.

Perso ça va faire 5 ans que je fais du deep learning professionnellement. J'ai travaillé pour Skymind, qui développait deeplearning4j. Ça vous dira rien, c'est un projet plus ou moins mort, mais c'était une tentative de faire un framework alternatif avant que tout le monde passe à pytorch. Puis je suis devenu principalement utilisateur des gros modèles entraînés par d'autres.

J'ai travaillé sur les modèles de vision au départ et maintenant presque exclusivement sur des modèles de langage. J'ai réussi à passer au 4/5e l'année dernière pour me consacrer aussi avec le fablab local à de la robotique open hardware (où bien sur j'utilise des modèles de deep learning pour la vision).

Ça fait plus de 20 ans que j'ai réalisé que l'IA a le potentiel de changer le monde pour le mieux, c'est pas par hasard que j'ai essayé de m'orienter le plus possible là dedans et ça me fait mal au cœur de voir tant de gens croire que notre seul but est d'aider Sam Altman à se faire quelques milliards de plus, qui ne voient pas les capacités de transformation de cette tech.

J'ai déjà donné quelques avis en anglais pour éviter le "doomism" dans des romans de SF (https://slrpnk.net/post/6100538) mais le faire dans ma langue natale ferait du bien!

Et, si, le titre est correct, ça me fait 6/5 de boulot, mais quand on aime on ne compte pas!

Voila, je préférerais qu'on reste sur ces thèmes mais AMA anyway!

(page 2) 50 comments
sorted by: hot top controversial new old
[–] pseudo@jlai.lu 3 points 9 months ago (1 children)

Très spécifique mais : les robots aspirateurs sont-ils un exemple d'utilisation de l'IA en robotique ? Je n'ai pas la moindre idée du genre de programme qu'ils utilisent.

[–] keepthepace_@jlai.lu 2 points 9 months ago

"IA" est un terme vague qui peut englober presque n'importe quel algorithme, donc un vendeur va tout le temps te dire qu'il y a de l'IA dans son aspirateur dés qu'il y a le moindre capteur.

Les aspirateurs automatiques vont du truc très simple qui fait de la spirale et tourne à gauche en cas de collision à des choses plus élaborées qui font une carte de leur environnement. Je ne pense pas qu'ils aient besoin de deep learning pour ça, j'imagine qu'il y a déjà suffisamment à faire en piochant juste dans les algos connus de SLAM

[–] pseudo@jlai.lu 3 points 9 months ago (1 children)

Un exemple tout simple d'IA dans la robotique ?

load more comments (1 replies)
[–] pseudo@jlai.lu 3 points 9 months ago (12 children)

Quelle est selon la meilleure approche pour approfondir des connaissances en IA une fois sortie du monde universitaire ?
Pour une meilleure compréhension des IA pour quelqu'un qui a déjà un bagage théorique sur le sujet le point de vue mathématiques/statistique est-il plus ou moins intéressant que le point de vue informatique ?

load more comments (12 replies)
[–] pseudo@jlai.lu 3 points 9 months ago (1 children)

Quelle(s) question as-tu espéré ou craint qu'on te pose sans qu'elle ne soit venue ?

load more comments (1 replies)
[–] pseudo@jlai.lu 2 points 9 months ago (1 children)

Y a-t-il des possibilités d'implication dans la communauté de l'IA open-source pour une personne sans bagage sur le sujet et ne souhaitant pas s'impliquer dans la technique ?

[–] keepthepace_@jlai.lu 3 points 9 months ago (2 children)

Alors dans un sens pas vraiment, parce que ça reste un sujet principalement technique mais perso j'aimerais bien trouver un moyen parce que c'est un sujet qui dépasse la technique et qui a une composante politique à laquelle les utilisateurs doivent être associés. Je pense que faire de la traduction ou de la vulgarisation sous un angle qui promeut plus l'open source que les solutions des boites privées, ça ne demande pas un bagage technique super important, mais c'est une mission cruciale aussi!

Il faut quand même comprendre au moins superficiellement ce que ces modèles font et comment on les utilise, mais ça demande pas une thèse de math.

En open source on appelle ça un rôle d'évangélisateur: une sorte de power user qui sait faire le lien entre devs et utilisateurs.

load more comments (2 replies)
[–] pseudo@jlai.lu 2 points 9 months ago (1 children)

Quels sont les conseils que tu donnerais à des professionnels qui veulent mettre en place des solutions l'IA éthique ? Ici j'entends par éthique, qui ne soient pas un renforcement de la déshumanisation des prises de décision, du "c'est comme ça et c'est tout", des systèmes bureautiques incompréhensibles et peu flexible face au besoin réel.
On dit souvent qu'il faut faire en sorte que IA ne reproduise pas les biais systémiques des humains mais quels sont les actions concrêtes à mettre en place ?

[–] keepthepace_@jlai.lu 2 points 9 months ago (2 children)

Nous (les devs de solutions d'IA) on a un mandat simple: que l'IA soit controllable, prédictible, qu'elle fasse ce qu'on lui demande.

Certains pensent qu'on doit faire des systèmes qui refuseront d'obéir à certaines choses, qu'elles corrigeront les biais humains automatiquement. Je suis en désaccord (soft, on peut en discuter). Si tu demandes à une IA de reproduire un système injuste, elle le fera. Mais si tu lui dis "reproduis ce système mais en en retirant le biais sexiste et raciste" elle le fera. Il faut juste reconnaître et accepter ce besoin.

Pour la déshumanisation par les algorithmes, le problème est humain, pas technique. Cette BD l'exprime mieux que moi: https://grisebouille.net/panique-algorithmique/

[–] pseudo@jlai.lu 3 points 9 months ago (1 children)

le problème est humain, pas technique.

100 % d'accord. Cependant, la question technique et la question humaine vont pour moi de paire.
L'IA renvoi un modèle, un algorithme dont la construction n'a été supervisée que indirectement par un être humain et dont la structure peut être extrêmement complexe. Comment éviter les biais dans ces algorithmes ? Au delà d'arrêter, nous-autres développeurs, d'être sexistes, racistes et tout ce que tu veux, comment prendre conscience des biais implicites, des reproductions d'oppression systémique que nous somme en train d'écrire dans nos IA ?
Je ne pense pas que quiconque ait voulu que son IA écart les CV des femmes ou qu'elle confonde les noirs et les chimpanzés mais c'est arrivé.
Comment prévenir ces problèmes plutôt que de devoir les guérir ? Et comment guérir les IA déjà existantes de leurs biais ?

[–] keepthepace_@jlai.lu 3 points 9 months ago (1 children)

Alors il y a sûrement plus de réponses techniques que tu imagines! Mais déjà parlons de l'aspect humain, il y a 2 problèmes humains à mon sens qu'on aura du mal à résoudre purement techniquement:

  1. Reconnaître qu'il y a un biais à corriger dans le dataset et vouloir le corriger. Si on a un dataset de décisions RH qui écarte les femmes par sexisme, et qu'on reçoit l'instruction "entraîne un modèle qui nous remplace le plus précisément possible", la mission est d’entraîner un modèle sexiste. À nous de le refuser ou de prouver que le boulot en question ne requiert pas une bite pour être fait correctement.

  2. Arriver à articuler clairement nos buts. Un effet pervers intéressant avait été montré via un algo qui aidait les étudiants et les étudiantes à s'orienter vers la filière qui avait le plus de chance de déboucher sur un diplôme. Une université avait un taux de réussite plus faible chez les femmes, probablement par sexisme, du coup l'algo n'a proposé que des hommes pour cette université. C'est en effet dans l'intérêt des étudiantes. Et c'est un biais sexiste. Est-ce ce qu'on veut?

Une fois ces problèmes passés, le problème posé est comment créer un modèle non-baisé à partir d'un dataset biaisé.

Une des présentations les plus intéressantes que j'ai vu sur ce thème, et qui tenait de la discussion technique autant que de la philosophie appliquée démontait quelques approches naïves sur un cas d'école: prédire la peine d'accusés dans des tribunaux US. Il est bien documenté que la justice US a un biais raciste auquel s'ajoute un racisme systémique.

  1. Impossible de cacher la "race" de la personne concernée, de trop nombreux proxys existent: lieu d'habitation, d'étude, lieu d'arrestation, etc.
  2. Impossible de forcer un quota de décisions: la police est raciste aussi et arrête plus de noirs, forcer le même taux de condamnation serait tout aussi injuste voir amplifierait les injustices!
  3. Impossible d'ajuster avec une constante manuelle, le biais raciste n'est pas constant.

La solution proposée consistait à expliciter les variables sur lesquelles un biais existait, c'est à dire un déséquilibre dans le dataset, et forcer une décorrélation entre le jugement et ces variables. Le système apprend alors tout ce qui est corrélé à la "race" et le différencie de ce qui amène à une condamnation. Il y a des noirs innocentés, il y a des blancs condamnés, apprendre les critères qui permettent ça donne un système qui a pu retirer le biais de son dataset, à condition qu'on le lui ait pointé du doigt.

[–] pseudo@jlai.lu 3 points 9 months ago

forcer une décorrélation entre le jugement et ces variables. Le système apprend alors tout ce qui est corrélé à la “race” et le différencie de ce qui amène à une condamnation.

C'est passionnant. Merci. Je crois que je vais creuser ce sujet.

[–] pseudo@jlai.lu 3 points 9 months ago

Mention spécial à ce grand Homme qu'est Al-Kwarizmi. Savant et vulgarisateur de génie qui a marqué son époque et le cours de l'Histoire au point d'être derrière les mots algorithme et algèbre, au point d'être la cause de la diffusion des chiffres arabes en occident.
Vive les Ouzbeks !

[–] Snoopy@jlai.lu 2 points 9 months ago (6 children)

@snoopy@peculiar.florist

Coucou, merci pour cette AMA ! :)

Je pense que mon post va être capillotracté, enfin essayons.

Pour le coup, je suis interessé par la structure neurale et les limitations "hardware".

En fait je me disais que ce qui bloque l'IA était matériel car le matériel est fixe et ne peut changer d'architecture, de logique, les circuit sont fixes...enfin, surtout ça ne reproduit pas complètement les circuits neural biologique. Logiciel car il suit une formule et ne peut pas apprendre. On a trouvé une alternative avec le circuit de récompense. Voilà en gros mes petites idées.

Donc, voici mes questions :

  • quand on parle de réseau neural est ce le meme système qui est utilisé partout ? Ya t-il d'autre modèle ? Des familles de reseaux neurales comme des OS ?
  • est ce qu'il existe d'autres concepts de structures que le "réseau neural" pour entrainer l'IA ?
  • niveau hardware, est il possible d'imaginer que l'IA créé et optimise son propre système comme elle le fait pour ses algorithmes ? C'est à dire qu'elle fabrique son propre ordinateur et l'optimise.
  • sur un ordinateur quantique, quel serait les changements ? Ya des changement de logique ?

Et enfin, pour moi, le point de bascule IA/grand public était alpha go et sa créativité. :)

  • Est ce que une IA/LLM peut etre créative ou est ce un set de probabilité ? Peut elle générer ses propres prompts/envie ?

En espèrant ne pas etre trop brouillon. Tu peux reformuler mes questions si besoin. Merci :)

load more comments (6 replies)
[–] pseudo@jlai.lu 2 points 9 months ago (1 children)

Quelles les sources de news techniques que tu recommandes ?

load more comments (1 replies)
load more comments
view more: ‹ prev next ›