1. Introduction et explication des world models JEPA
Présentation des actualités de la semaine, puis explication de la critique des LLM par Yann LeCun et du fonctionnement de l'architecture JEPA et des world models, illustrée par V-JEPA 2 en robotique.
Sur X, deux posts m'ont interpellé cette semaine.A Le premier, c'est un papier de Yann LeCun, et autour, plein de gens qui crient à la révolution.Le second, ce sont des chercheurs du MIT qui affirment qu'une IA, c'est maintenant lire et réécrire directement un autre modèle au stade de ses poids.Plus de 50000 likes sur ce post.Ces deux posts pour moi méritent un vrai deep dive pour comprendre de quoi il s'agit vraiment et savoir si on est face à de vrais révolutions sur les world models de LeCun et sur la capacité des gros modèlesà pouvoir potentiellement en éditer des petits.À côté de ça, Kimi 4.1 Pro vient de publier ses poids et la bourse a plongé de plus de 5 % jeudi.On analyse tout ça dans les actualités de la semaine.Alors commençons par le premier deep dive de la semaine à propos justement du papier que Yann LeCun a publié cette semaine.
Ça fait des années que Yann LeCun nous le répète, les LLM, c'est une impasse.Ils stockent énormément de choses, dont beaucoup inutiles, et c'est pour ça qu'il leur faut des milliards de paramètres pour fonctionner.Cependant, le problème des LLM, c'est qu'ils ne savent pas vraiment raisonner et ils n'apprennent rien de nouveau une fois qu'ils sont entraînés.Son alternative, bah il la défend depuis extrêmement longtemps, il s'agit des world models.Et cette semaine, il publie avec Randall Balestriero un papier que certains présentent déjà comme une révolution.Alors on va voir ensemble ce qui montre vraiment et ce que ça nous apprend vraiment sur les world models.Donc en fait, tout leur papier part d'une observation faite par les chercheurs du MIT en 2024.Cette observation, c'est la suivante.Un LLM, il a jamais vu aucune image, il a lu que du texte.Pourtant, plus il est gros, plus sa façon de ranger les concepts ressemble à celle d'un modèle de vision entraîné lui seulement sur des images.
Autrement dit, les choses qu'il considère comme proches d'un point de vue vectoriel, une fois qu'elles sont représentées d'un point de vue mathématique, sont le plus souvent les mêmes que celles que le modèle de vision considère comme proches.Autrement dit, à force de lire, le LLM reconstruit un bout du monde réel.Mais attention, il n'y arrive que lentement et seulement en devenant énorme.Et c'est justement là que Yann LeCun veut en venir.Mais pour comprendre son argument, il faut d'abord comprendre ce qu'il propose à la place.Donc lui, tout son truc pour rappel, c'est ce qu'on appelle des world models.C'est quoi un world model?Un world model, c'est une IA qui se représente le monde et qui peut prédire ce qui va se passer quand on agit dessus.Un peu comme un bébé qui apprend en fait, il sait que à force de lâcher les il apprend une règle, c'est que les objets tombent toujours vers le ба, et pas vers le haut, par exemple.
Et l'architecture que Yann LeCun défend pour y arriver, elle s'appelle l'architecture JEPA.On dit Joint-Embedding Predictive Architecture.Alors globalement, tout ce qu'il faut comprendre sur cette architecture, c'est la manière dont on l'entraîne.Tout ça repose sur un concept qui est le triplet.Triplet voulant dire trois choses en même temps qu'on utilise pour entraîner le modèle.Pour essayer d'imaginer le truc, essayons de prendre un exemple, une image dont on cache un morceau.Il y a donc trois parties qui traitent cette image.Première partie, c'est un encodeur de contexte qui transforme la partie visible en vecteur, c'est-à-dire une liste de nombres qui vient résumer la situation initiale.Deuxième partie, c'est un encodeur de cible.L'objectif, c'est de transformer la partie cachée en vecteur.Et ensuite, tu as un prédicteur qui va deviner le vecteur de la partie cachée à partir de celui de la partie visible.Ensuite, on vient corriger le modèle sur l'écart entre les deux vecteurs, jamais sur les pixels.
Autrement dit, on apprend à notre modèle d'anticiper la représentation mathématique d'une situation et de la situation suivante ou d'une partie cachée d'une situation.Cependant, on le fait à un stade vectoriel où on n'a pas à s'embêter avec tous les détails.En fait, ce qu'on veut qu'il prédise, c'est vraiment la structure générale, l'idée générale, la physique générale d'une situation et pas le détail de chaque pixel en particulier.C'est d'ailleurs toute la différence avec un LLM ou même avec un modèle de diffusion en image.Si une forêt est cachée, en fait le JEPA, il a pas besoin de tout redessiner feuille par feuille.Il doit simplement prédire il y a une forêt au milieu et donc au milieu, il y aura quatre arbres pour compléter le pattern global.Un LLM lui, il doit prédire le mot exact au caractère près, même quand le détail est imprévisible.Et c'est pour ça qu'en fait pour les LLM, c'est très compliqué d'anticiper les situations futures et donc d'appliquer des LLM dans des cas physiques, par exemple de robotique.
Il y a juste un piège cependant, parce que si on s'arrête là, le modèle, il va tout de suite trouver une façon de tricher.Il va simplement donner le même vecteur pour tout et l'écart sera toujours nul.Et cette architecture JEPA, donc que j'ai extrêmement simplifiée, elle a déjà marché.En fait, l'an dernier, il y a Meta qui a sorti un modèle qui s'appelle V-JEPA 2, entraîné de cette façon sur plus d'un million d'heures de vidéo.Et ensuite, il a été comme fine-tuné, spécialisé avec seulement 62 heures de vidéo de bras robot.Résultat, c'est qu'il arrive à piloter un bras robotisé dans des environnements qu'il a jamais vu, alors qu'il a seulement 62 heures d'entraînement.C'est ça un world model, c'est un modèle qui est capable de prédire la conséquence d'une action au au vectoriel, c'est-à-dire dans la représentation concrète et non pas dans le proxy que serait le mot ou le pixel final d'une
image.Ce que ça donne donc là par exemple dans la robotique, c'est un modèle qui est beaucoup plus efficient.Avec seulement 62 heures de vidéo, il peut faire une énorme performance quand un modèle type diffusion LLM ou avec un proxy en tout cas spécifique aurait mis beaucoup plus de temps à accomplir avec beaucoup plus d'entraînement.
2. Le papier de LeCun : le mauvais proxy des LLM
Analyse du théorème montrant que les LLM et les modèles de vision apprennent la même carte du monde, et de la démonstration que prédire le mot suivant est un mauvais proxy, avec l'expérience des 42 fois moins de données.
Donc maintenant que le contexte est reposé, revenons au papier de la semaine et ce qu'il démontre.Alors revenons à l'observation de départ.Pour rappel, l'observation c'est que finalement un LLM va représenter à peu près de la même manière mathématiquement deux choses similaires que un modèle de vision.Jusqu'ici, c'était juste une observation et personne ne savait l'expliquer.Le papier justement, il apporte deux choses.La première, c'est un théorème.Prenez deux GPA, entraînez chacune de leur côté, l'une sur des images, l'autre sur du texte.Si on leur apprend à rapprocher les mêmes choses, elles apprennent la même carte du monde, simplement tournée.En gros, c'est comme une même carte de France décrite dans deux systèmes de coordonnées.Les villes et les distances sont les mêmes, simplement le point de repère central change.Concrètement, dans le modèle de texte par exemple, les deux éléments qu'on veut représenter seront à peu près à la même distance.
Dans le modèle qui représente des images, ce sera également à peu près la même distance.Et donc si on les superpose les unes sur les autres, on est simplement à une rotation près de retrouver les mêmes représentations.Donc dans le papier côté texte, ce qu'on essaie de faire, c'est de rapprocher deux légendes écrites pour la même photo, simplement de manière complètement différente.Par exemple, pour décrire la même scène, un chien court sur la plage, on va faire en sorte que le modèle il rapproche un chien court sur la plage et un autre qui dit un chiot joue au bord dela mer.Donc il y a aucun mot en commun.Par contre, la seule chose qui relie ces deux phrases, c'est la scène.Et comme on va dire au modèle dans son entraînement qu'il va falloir apprendre à rapprocher ces deux phrases, bah le modèle va déduire que le point commun entre les deux, bah c'est la scène commune.
Même si les mots ont rien en commun, le style a rien en commun.Donc en fait, on espère que le modèle se concentre littéralement sur ce qui est en commun, la scène.Maintenant, la deuxième chose que le papier apporte, c'est l'explication du retard des LLM.Il montre en fait que prédire le mot suivant, donc ce que fait le LLM, il prend le proxy du langage pour essayer d'anticiper le futur et d'être intelligent, et bah il prouve que justement ça, prédire le mot suivant,c'est mathématiquement une GPA, donc une Par contre, c'est une GPA qui rapproche les mauvaises choses.Concrètement, le LLM, il rapproche le début d'un texte avec sa suite dans le même document.Donc le même auteur, le même style, les mêmes mots.Le LLM du coup, il apprend autant le style que la scène.Concrètement, c'est la même chose hein.Quand on un LLM, on le donne début d'une phrase, il doit prédire la suite.
Et si il arrive pas à prédire la bonne suite, on on le corrige et on lui dit de de changer un peu ses paramètres pour qu'il prédise la bonne suite.Sauf que en faisant ça du coup, on lui apprend non seulement à prédire la suite d'un point de vue logique, bon il lui apprend aussi à prédire le style du texte, le ton qu'on veut employer.En fait, énormément de choses qui polluent la compréhension réelle de la scène et la logique derrière.C'est un peu comme apprendre ce qu'est un chien en lisant toujours le même auteur plutôt qu'en écoutant 10 personnes décrire de manière différente le même chien.Dans le premier cas, à la fin, on a l'impression que le chien c'est un style, une manière d'en parler, une manière de vivre.Dans le deuxième cas, bah la seule chose qui est commune entre 10 personnes qui décrivent un chien de manière différente, c'est le chien.
Et donc en fait concrètement dans ce papier, ils ont montré que les LLM, ils ont simplement choisi un mauvais proxy.Apprendre à prédire le mot suivant, c'est extrêmement coûteux, il faut énormément de texte et ils apprennent énormément de trucs qui sont pas relatifs à uniquement la compréhension de la logique.Et c'est pour ça que les LLM ne s'alignent avec le monde qu'en grossissant.Il leur faut des énormes quantités de texte pour recouper tous les styles et retrouver ce qu'il y a derrière une fois que tu as enlevé la couche du style et du proxy du langage.Et donc concrètement, ils ont fait une expérience, un protocole hein pour vérifier tout ça.Pour le vérifier justement, ils prennent le même petit modèle de texte avec les mêmes textes et ils changent qu'une chose, ce qu'on lui apprend à rapprocher.Avec les bonnes paires, c'est-à-dire deux descriptions euh de la même scène avec des phrases complètement différentes, le chien euh devant la mer ou le chiot qui joue dans l'océan par exemple, c'est la même chose écrit avec des mots
différents.Là, il faut 42 fois moins de données pour atteindre un même alignement avec la vision.Donc pour avoir des représentations propres d'une situation grâce au texte, si tu as les bonnes paires, c'est 42 fois moins de données que si tu as des mauvaises paires.Et ce qu'on entend par mauvaises paires, c'est donc des textes qui sont relativement similaires et simplement c'est le style qui change.Par exemple, le chien joue devant la mer et le chien joue devant la mer agitée avec le coucher de soleil.Tu vois enfin c'est c'est la même scène mais le modèle en fait il va se concentrer sur apprendre les différences de style au lieu de se concentrer sur le dénominateur commun qui est la scène.Et donc finalement, ils ont montré qu'un modèle de 109 millions de paramètres, ce qui est ridicule hein, c'est tout petit, atteint 18 % de voisins communs avec un modèle de vision là où 72 milliards de paramètres, 660 fois
plus gros, fait seulement 15 %.Si on entraîne correctement sur les bonnes choses un modèle, il fait beaucoup mieux qu'un modèle beaucoup plus gros.Et donc comme les deux cartes on l'a déjà dit, la vision et la carte textuelle euh elle ne diffère qu'une que seule rotation.Il suffit de trouver cette rotation pour brancher un modèle de vision sur le modèle de texte.Et ça suffit du coup pour décrire une image sans avoir entraîné le modèle sur des images légendées.Et donc pour Yann Le Cun, c'est l'argument central de sa thèse.La façon d'apprendre compte plus que la taille du modèle.C'est d'ailleurs tout le pari d'AI Labs qui est sa start-up qui a levé déjà des millions d'euros, des modèles beaucoup plus petits avec des représentations ancrées dans le monde plutôt que du texte.Mais attention, enfin l'étape qui intéresse vraiment Yann Le Cun, elle n'est pas dans ce papier.
Ici, la Jepa, elle compare seulement deux descriptions.Elle regarde simplement à quel point est-ce que c'est plus pertinent d'écrire correctement et d'avoir les bonnes paires d'apprentissage, le bon proxy pour décrire la réalité à un modèle.Par contre, elle ne prédit pas ce qui se passe après une action comme par exemple avec V Jepa 2 et qui est littéralement ce qu'il cherche à démontrer et le type de modèle qui cherche à prédire chez AILabs.C'est donc un papier que je voulais partager avec vous parce que je le trouve extrêmement pertinent et il nous permet de comprendre l'importance du proxy qu'on utilise pour faire comprendre à un modèle le réel.En choisissant les bonnes paires, on arrive à ce que le modèle ait des meilleures représentations de la réalité qu'il est censé décrire et donc qu'il soit beaucoup plus pertinent.Là aussi, on prend le proxy du texte.
En fait, le LM espère, ça fait des modèles extrêmement gros qui sont pas pertinents pour prédire le futur, la conséquence de leurs actions peuvent très rapidement se perdre.Alors on compense ça par beaucoup de reinforcement learning, c'est-à-dire de prendre des tâches et d'apprendre les LM à finir les tâches.C'est pour ça que les les modèles de Claude par exemple en ce moment sont bien meilleurs que la concurrence.Cependant, c'est que une compensation d'un mauvais choix d'architecture à la base.Et la question, c'est à quel point on va pouvoir continuer sur ce mauvais proxy d'intelligence, quel langage, de la manière dont il est appris et est-ce qu'il va pas falloir à un moment revenir sur des nouvelles fondations pourcasser un plafond de verre qui était une contrainte technique qu'on avait depuis le départ mais qu'on a ignoré parce qu'on a réussi à scaler.C'est tout en fait le propos de Yann Le Cun.
D'ailleurs, j'en fais une vidéo complète bientôt.Maintenant, je vous invite à lire le papier si c'est un truc qui peut vous intéresser.On passe au poste suivant qui celui-ci m'a un peu fait tomber de ma chaise sur X.Hop, je me permets de vous interrompre une seconde dans votre vidéo simplement pour vous dire que j'ai lancé une nouvelle masterclass gratuite dans laquelle je vous présente tout mon système, mon second cerveau numérique pour avoir un vrai systèmeIA qui travaille pour vous autour de vous et qui vous délègue des process.Si vous voulez découvrir tout ça, c'est gratuit.Le lien est en première ligne de description.Vous trouverez mes cinq vidéos dans lesquelles je vous apprends comment mettre en place un second cerveau IA.
3. MIT : l'IA édite-t-elle vraiment des poids ?
Décryptage du billet des chercheurs du MIT sur la « programmation dans l'espace des poids » par GPT-6 Astra : explication du fonctionnement des poids d'un LLM, des expériences réalisées et pourquoi l'auteur y voit surtout de la fumisterie plutôt qu'une révolution.
Je ne vous interromps pas plus plus retournons à la vidéo.Voilà, le 2 novembre, il y a quatre chercheurs du MIT qui publient un billet de blog.Attention, c'est pas un papier qui était relu par des pairs, c'est vraiment un billet.Et le tweet de l'auteur, le voici.C'est le truc que j'ai vu lundi en me levant, c'était c'était absolument fou.On a demandé à GPT-6 Astra de modifier les poids d'un autre modèle pour l'améliorer aux mathématiques.Il a directement modifié seulement 0,016 % des poids en corrigeant des boucles de raisonnement et en améliorant les performances mathématiques jusqu'à six fois.Tout ça sans grade en entraînement, simplement parce que GPT-6 serait un monstre à modifier, des petits chiffres en fait dans les tables, dans les matrices mathématiques qui composent un modèle et que d'un coup il arriverait à améliorer desmodèles.Ils appellent ça directement la programmation dans l'espace des poids et les gens dans les commentaires affirment que c'est une révolution.
De mon côté, je suis beaucoup plus dubitatif et je vais vous expliquer pourquoi, de quoi il s'agit.Donc pour comprendre un peu ce qu'ils ont fait ces chercheurs, il faut comprendre ce que c'est qu'un LLM.À la base, un LLM, c'est simplement un réseau de neurones.Concrètement, par exemple pour un LLM, c'est un réseau de neurones qui en entrée prend la phrase qu'on vient de lui envoyer et puis qui en sortie sort une probabilité sur tous les mots du dictionnaire que le mot suivantqu'on veut voir à la suite du début de la phrase ce soit un des mots du dictionnaire.Par exemple, après la phrase le chat est sur le, il sortira peut-être 80 % canapé parce que le chat il est probablement sur le canapé.Et donc comment est-ce que le LLM il réfléchit à quel est le mot suivant le plus probable?
En fait, il a un ensemble de ce qu'on appelle des neurones mais concrètement, c'est simplement des chiffres qui font des multiplications et des additions qui permettent à la fin de donner une probabilité.Et comment est-ce que il a appris justement l'ensemble de ces poids, de ces tableaux de multiplication?La réponse, c'est par entraînement.C'est-à-dire que l'entraînement en fait, c'est une formule qui fait en sorte que on lui donne un ensemble de texte avec le début d'une phrase et la fin d'une phrase.On masque la fin de la phrase, on lui demande de prédire la fin de la phrase.Si c'est juste, on renforce les poids qui ont donc les les multiplications, les chiffres qui ont permis d'accomplir enfin le bon résultat.Et si c'est faux, par contre, ben en fait on renforce les poids qui auraient permis que ce soit le bon et on annule les poids qui ont fait que ce soit la mauvaise prédiction actuellement.
Et donc on commence ce processus sur des milliards de phrases jusqu'à que la sortie soit la bonne à chaque fois et personne qui quoi que ce soit à la main.Et plus on met de paramètres au moment de l'entraînement, donc plus il y a d'espace pour que le LLM apprend apprenne, plus les LLM globalement sont capables.C'est pour ça que les LLM les meilleurs sont généralement les plus gros.Donc jusqu'ici évidemment, il y avait pas un seul chercheur au monde hein qui pouvait euh un modèle et puis ensuite changer les choses manuellement parce qu'il pensait que ça allait faire des choses.Par exemple, t'ouvres un modèle en fait, c'est des milliards de chiffres et les chiffres tu as aucune idée de à quoi ils servent.C'est le LLM qui a stocké les choses à cet endroit-là.Et donc en fait la seule manière qu'on avait d'améliorer des LLM jusqu'à présent, c'était bah faire justement euh du reinforcement learning, donc donner en fait beaucoup beaucoup de données et faire en sorte que petit à petit le LLM
bah en fait prédise les bonnes fins de phrase.Sauf que donc les chercheurs du papier ce qu'ils ont montré, c'était que non, on peut prendre des gros modèles de LLM type GPT-6 Astra, leur donner les poids d'un plus petit modèle dans la conversation, vraiment des matrices dechiffres, c'est vraiment des tableaux de de milliards de chiffres et euh leur demander de faire une modification sur ces matrices pour faire en sorte que le LLM s'améliore dans une seule compétence.Et là ce qu'ils se sont rendus compte, c'est que ça marchait un tout petit peu.Et vous allez voir pourquoi mais la plupart des gens sur internet se disent mais c'est génial, les modèles peuvent se modifier dans leur anatomie.Pas du tout euh mais encore une fois on va voir pourquoi.La première expérience qu'ils ont fait, c'est que ils ont pris quatre petits réseaux de neurones qui ont été entraînés pour être bons et jouer à des jeux vidéo, en l'occurrence Pong, Pac-Man, Freeway etc.
Ils ont entraîné des petits modèles, donc c'est qu'ils avaient les poids qu'ils avaient entraînés.Et puis ils donnent les nombres bruts à GPT-6 Astra, le modèle d'OpenAI, sans outils et ils leur demandent de trouver euh en fait quel jeu ce réseau de neurones permet de résoudre.Et là en l'occurrence GPT-6 Astra, il arrive à trouver les quatre jeux sans problème.Donc voilà à peu près la conversation.En gros, ils donnent le réseau de neurones sous la forme d'un ensemble de chiffres qui ressemble donc à ça hein encore une fois.Tu vois le la colonne et puis tu vois les les chiffres qui correspondent aux poids du réseau de neurones et on lui demande simplement à GPT-6 pour quelle game est-ce que ce réseau de neurones a été conçu.Donc là il regarde en fait des spécificités euh au niveau des des des des poids et puis ensuite il te donne la réponse qui est que il se trompe pas et il voit qu'effectivement il te dit que le
game c'est Breakout et qu'il est absolument confiant.En l'occurrence, il a été correct.Et ce qu'ils ont remarqué, c'est que pour les quatre jeux, il a largement réussi à identifier.Bon en réalité, il y a rien d'impressionnant, il y a beaucoup de gens sur les réseaux qui disent mais c'est absolument rien d'impressionnant parce que même des chercheurs humains pourraient le faire sans problème.En gros, les entrées de ces réseaux, elles sont souvent étiquetées avec seulement trois lignes de code.Euh n'importe quel ingénieur peut afficher une carte de la chaleur où l'on voit la raquette.Et donc Astra, il a juste fait ce calcul de tête, c'est du calcul mental impressionnant mais c'est pas une lecture magique.En gros, c'est un peu comme si tu essayais de visualiser ce jeu et tu et tu te rendais compte que à l'intérieur du réseau de neurones, il y avait énormément de poids pour contrôler ce truc du bas qui,
du coup, permet de faire agir.Du coup, tu sais probablement que ça va être le jeu euh Breakout.Donc jusque-là, en fait, rien de très impressionnant, bien que en fait l'article fasse passer comme une révolution.Et ensuite, si on pousse un peu, ils se sont rendu compte que quand on retire les indices, ça casse.En fait, Claude tu essayes sur d'autres petits réseaux et tu vas reconnaître des jeux de données célèbres même là où il y en a pas.Et du coup, les auteurs, ils admettent eux-mêmes que c'est un échec.Passe à deux versions de Gemma dont une entraînée à toujours donner raison à l'utilisateur.Astra n'arrive pas à dire laquelle.Voilà une autre expérience qu'ils ont fait.C'est une petite voiture qui doit reculer pour prendre de l'élan avant de franchir une rampe.Le réseau entraîné, donc eux ils ont entraîné pour l'occasion, il a jamais réussi à trouver l'astuce.
Il fonce toujours et il cale à chaque fois.Astra, il reçoit les poids, la description de la scène et un échec enregistré.Sans outil, en un seul essai, il modifie 3,5 % des poids et la voiture réussit à 100 %.Comment est-ce qu'il fait ça?Ça a l'air impressionnant.En fait, il greffe un petit circuit qui dit recule d'abord puis rend la main au réseau d'origine.Alors c'est malin, mais c'est une simple règle traduite en nombre sur un réseau minuscule.Maintenant, le vrai truc qui a fait le buzz, c'est justement ce truc de on a pris un tout petit modèle et on a fait en sorte que GPT Astra améliore énormément en mathématiques.Le patient justement, c'est Qwen, 0,8 milliards de paramètres, 800 millions de paramètres, un tout petit modèle d'Alibaba utilisé en mode réflexion.Et le truc, c'est que ce modèle, il a un défaut qui est connu depuis longtemps, personne n'utilise d'ailleurs, c'est que il tourne absolument en boucle dans son thinking.
C'est-à-dire qu'il commence à se mettre en boucle.Il dit par exemple je dois, je dois, je dois, je dois et il se bloque là-dessus et puis il écrit des tokens juste comme ça.Et donc le problème, c'est qu'il y a 93 % de ses réponses en maths qui sont coupées net à la limite de la longueur.Son score sur les tests de maths, c'est donc 8 %.Astra donc au moment où on lui donne le les poids donc de ce modèle et puis on lui dit répare-le pour faire en sorte qu'il soit incroyable en mathématiques.En fait, on lui a quand même donné à ce moment-là accès à un autre book Python, le droit de faire tourner le modèle et surtout la piste dans le prompt.On lui dit en fait dès le prompt que le modèle se répète souvent.Donc c'est quand même un bon indice.
Et donc ce qu'il fait ensuite à ce moment-là, c'est qu'il trouve la direction responsable de la boucle, c'est-à-dire en fait la flèche dans l'espace interne du modèle qui correspond à ce comportement et il l'efface.Il l'efface 131000 nombres sur 800 millions, les fameux 0,016 %.Mais sauf que cette technique, elle est pas nouvelle.Elle s'appelle l'ablittération, elle est publiée depuis 2024 et c'est comme ça qu'on fabrique sans cesse des modèles qui dit qui sont dit non censurés qu'on voit sur Hugging Face.Par exemple, c'est des modèles DeepSeek non censurés.On a trouvé la dimension qui correspond au refus ou à l'éthique et puis on retire euh le refus et l'éthique et donc le modèle n'a plus le droit de dire non.Et donc si on lui dit hack la NASA, il va hacker la NASA sans dire attention, je n'ai pas le droit de de hacker la NASA.
On trouve les 0 1 % du modèle qui correspond à cette dimension de refus et on les retire.Et donc dans les benchmarks, le résultat est réel.On passe de 8 % à 48 % et Hugging Face a réussi à le reproduire sans problème.Cependant, ça veut pas dire que c'est un modèle qui est meilleur en maths parce qu'en fait parce que toutes les réponses gagnées, c'est des réponses qui étaient coupées avant la fin parce que le modèle bouclait avant la fin.Et sur les réponses que le modèle terminait déjà, la précision elle a pas bougé.Sur un autre modèle, en l'occurrence Gemma de Google, un autre modèle open source tout petit, lui il tourne pas en boucle et donc Astra n'arrive à rien faire.Il passe de 6,8 % de qualité sur les benchmarks mathématiques à 7 %.Donc concrètement, ils ont retiré un frein, ils ont ajouté aucune capacité et c'est même pas le modèle GPT-6 qui a édité des poids, c'est le modèle qui a utilisé des outils Python et euh le fait de faire tourner
le modèle pour de manière empirique voir les trucs qui marchaient pas.Donc finalement, en fait pour moi ce modèle, bien que ce soit publié par des chercheurs très respectables par exemple qui ont publié Colbert, des modèles géniaux de retrieval, de RAG et cetera, là en l'occurrence, c'est quand même beaucoupde de la fumisterie.En gros, la fumisterie, c'est que sous le même nom du poste qui dit ben simplement l'IA lit et écrit les poids, le billet de blog, il mélange des expériences hyper différentes.En fait, la lecture de nombres bruts, donc des matrices de chiffres qui composent un modèle sans outils, donc juste que ce soit le modèle qui comprenne et qui fasse des modifications magiques, ben en fait cette technique, elle estutilisée que dans trois des expériences sur huit sur les tout petits réseaux.Ensuite, tout le reste, ben c'est simplement GPT-6 qui utilise des techniques connues pour auditer et améliorer des modèles.
Et donc ce papier a fait beaucoup de buzz, il a d'ailleurs été repris par des grosses chaînes YouTube françaises en disant ça y est, l'IA peut s'auto-améliorer.Donc pour résumer, ce papier n'est pas particulièrement impressionnant bien qu'il pourrait le laisser croire.C'est potentiellement une nouvelle piste de recherche qui ouvre un truc dans la noosphère et qui permettra ensuite à des chercheurs de faire peut-être des modèles spécialisés sur euh la modification de poids spécifique ou autre.Mais en réalité, il y a rien de très impressionnant, en tout cas de plus impressionnant que par exemple l'IA GPT-6 résout Navier-Stokes ou d'autres équations mathématiques parce qu'en fait ce que ça a montré, c'est juste que ça saitbien utiliser des outils et faire le travail d'un ingénieur.Passons à la suite.
4. Kimi K3.1 Pro : open source et poids publics
Analyse de la sortie des poids de Kimi K3.1 Pro, de son passage à l'attention clairsemée et de ses gains venus du reinforcement learning plutôt que de l'architecture, avec retour d'expérience personnel et recommandation de provider.
All right, cette semaine, le plus modèle du monde open source, le meilleur modèle du monde open source qui s'appelle Kimi K3.1 Pro est non seulement sorti, c'était il y a quelques jours, mais surtout a mis ses points enmode public.Donc tout le monde peut les télécharger et les faire tourner chez lui sous réserve qu'il ait un gros data center.Bon, ce qui est assez intéressant avec ce modèle, c'est que l'architecture ne change quasiment pas par rapport à Kimi K3.Seule chose qui a changé dans l'architecture, c'est que avant les 3/4 des couches du modèle, c'était des couches d'attention légère, c'est-à-dire de sparse attention, qui ne relisaient pas l'ensemble des mots précédents, mais qui relisaient simplement les mots lesplus pertinents selon en gros des systèmes de produits scalaires un peu avancés.Et le dernier quart par contre du modèle, ben il relisait tout le texte à chaque mot.
Ces couches-là, elles ont globalement été enlevées et elles passent maintenant aussi par une attention clairsemée.En gros, ils ont copié l'innovation de DeepSeek pour la mettre dans leur modèle.Ce que ça ça permet, c'est d'avoir des prix qui sont beaucoup moins chers à l'inférence.En l'occurrence, on gagne 1/3 de moins que Kimi K3 et on reste du coup encore moins cher que que Claude Opus 5.5, on est à peu près deux fois moins cher Auto Ken et à peu près deux foismoins cher aussi au niveau de la tâche complétée.Donc du coup, vous pourriez vous demander, bon bah si l'architecture elle bouge presque pas, d'où vient le progrès parce qu'il y a quand même eu un gros bond de performance.Bah en fait, il faut savoir que quand on crée un modèle, le modèle il s'entraîne en deux gros temps.En gros, le temps du pré-entraînement et puis le temps du renforcement.
Donc le pré-entraînement, l'idée c'est qu'il lit donc une énorme partie d'Internet et il apprend à prédire la suite.C'est un modèle de base.Donc en fait, on lui a pas appris de compétences particulières outre le fait de halluciner et de régurgiter du texte.Maintenant la deuxième partie, c'est le RL, le Reinforcement Learning.On lui donne des tâches, un bug à corriger, un exercice de maths et on vérifie automatiquement s'il a réussi et on récompense ce qui marche.Donc là, on lui apprend pas à se comporter comme une personne qui sait parler, mais on lui apprend à être bon à faire des tâches spécifiques.Et donc Kimi K3.1 globalement, c'est le même pré-entraînement que K3.Ils ont pas refait toute la partie où tu apprends à parler.Par contre, ils ont fait beaucoup plus de renforcement sur la même base.En fait, l'essentiel des gains aujourd'hui, ça vient pas de plus d'Internet, ça vient concrètement de la qualité des tâches d'entraînement et des qualités des des harnais qui permettent justement de de vérifier que les tâches sont correctes et de
renforcer l'IA dans la bonne direction.Toute l'industrie globalement fait ça.Claude, pourquoi est-ce qu'ils sont meilleurs en ce moment, c'est qu'ils ont à mon avis hein, et c'est d'ailleurs ce qu'ils disent dans leur S5 qu'ils ont publié la semaine dernière, ils ont le meilleur portfolio de tâches qui permettentde faire du renforcement.Ils ont les tâches les plus dures, ils sont les mieux corrigés parce qu'ils volent les données de plein d'utilisateurs, ça c'est autre chose.Et donc du coup, en fait, bah l'IA est très bonne pour faire toutes les tâches qu'on aimerait qu'elle fasse au quotidien.Ça veut pas dire qu'elle a cassé les plafonds de verre d'auto-amélioration, ça veut pas dire qu'il y a eu des changements d'architecture, ça veut pas dire que tous les problèmes des LLM sont pas encore là, ça veut justedire que les tâches que la plupart des gens font, l'IA est devenue très bonne à les faire parce qu'elle s'est renforcée euh dans ce sens-là.
Donc je vois beaucoup de gens en fait en ce moment dire euh par exemple les modèles open source rattraperont plus les modèles fermés, ils ont mis une telle avance là euh que c'est pas possible de rattraper.Pas du tout, il y a il y a pas eu d'innovation de rupture.Le seul truc qui a été fait, c'est simplement un meilleur et on se rend compte que la chimie K3, en distillant un peu les modèles occidentaux, mais surtout en faisant du du meilleur RL, ils arrivent à rattraper leurretard.Je mettrai à l'écran là des des des des des side by side que les gens font entre Opu 5.5 et chimie K3.1.Vous verrez que c'est à peu près la même chose.De mon côté, moi j'utilise Kimi hébergé chez Synthetic AI, c'est une boîte d'inférence qui vous propose en fait d'avoir un abonnement et c'est un abonnement entre 9 et 90 € par mois qui vous permet d'avoir donc de payer
sous forme d'abonnement tout en ayant des modèles open source avec du zéro data rétention pour avoir une vie privée parfaite et arrêter de donner vos données aux États-Unis.Donc c'est un truc que je peux évidemment vous recommander.Donc c'est un super provider qui est aussi très rapide, donc je vous recommande vraiment de de l'utiliser si vous cherchez un bon provider pour des modèles open source comme Kimi K3.1 Pro.C'est pas sponsorisé ou quoi que ce soit, juste je l'aime bien donc je le dis.Globalement, ma stack de modèle actuelle, si vous vous demandez, c'est Opu 5.5 pour toutes les tâches complexes qui sont pas privées.Pour toutes les tâches qui ont des données clients, des données personnelles ou qui sont simples du type automatisation, ça reste les modèles de Deep Seek ou parfois GLM 5.3.Et puis pour les tâches les plus complexes, typiquement tout à l'heure j'ai dû préparer un cours, analyser plein de données et cetera, mais c'était des données clients donc je pouvais pas le faire avec Claude.
Du coup, je l'ai fait avec bah la chimie K3.1 et c'était très efficace, j'en étais super content.Il y avait beaucoup plus de pertinence que Kimi K3.Donc on voit que le RL a bien fonctionné.C'est un modèle que j'ai personnellement testé et approuvé dans les usages de de tâches quoi.
5. Crash boursier et élections anti data centers
Explication de la pire séance de Wall Street depuis avril 2025 : l'impact des élections de mi-mandat et de l'opposition démocrate aux data centers, avec une lecture nuancée des conséquences pour la bulle de l'IA.
Dernier sujet de la semaine, il s'agit évidemment du crash de jeudi 5 novembre parce que Wall Street ce jour-là a vécu sa pire séance depuis les droits de douane d'avril 2025.Nasdaq perd 5,5 %, le S&P 500 4,4, les semi-conducteurs perdent 12% et Nvidia perd 9% et efface toute sa hausse de l'année.On a Micron encore Wiv qui reprennent un coup encore une fois.En gros, c'est 2500 milliards de dollars qui sont partis en fumée.La question maintenant qu'on pourrait se poser, c'est pourquoi est-ce que la bulle de l'IA a complètement explosé?Donc pourquoi?Ben en fait, il y a plusieurs facteurs mais le facteur principal, c'est celui des élections qui pourraient remettre en cause la capacité de construire des data centers et qui pourraient donc remplacer une énorme partie bah des puces quisont vendues, du prix de la mémoire et cetera parce que à moins de demande globalement.
Donc pour vous faire un récap, mardi, c'était les élections de mi-mandat et ce qui s'est passé, c'est que c'était les démocrates cette fois-ci qui ont pris la chambre et le Sénat, ce qui fait que donc Trump en grosn'a plus une sorte de majorité absolue dans la chambre et dans le Sénat.Lui, les républicains et donc ça fait que euh bah en fait, il a moins de facilité à faire passer toutes ces lois qui étaient pro data center et les démocrates sont hyper anti data center.Ils ont d'ailleurs été en grande partie élus là-dessus, ils ont fait campagne là-dessus et donc ils veulent globalement bloquer tout ce que Trump avait promis qui aurait favorisé le développement des data centers.D'ailleurs, il y a un excellent livre là-dessus, je fais une petite parenthèse qui s'appelle The Nerd Reich qui globalement décrit à quel point il y a une coalition qui s'est formée entre Trump, JD Vance, son son vice-président là
et puis les énormes oligarques de la tech, donc en gros Peter Thiel, Elon Musk et cetera et il montre à quel point ils ils ils ont fusionné dans une même idéologie un un un partenariat vertueux entre les deuxet à quel point c'est des philosophies qui sont complètement twisted.Je vous recommande vraiment vraiment de lire ce livre.Ça donne un nouvel éclairage sur en fait l'état d'esprit des gens qui poussent l'IA dans notre monde.Ils ont un plan et justement là, c'est peut-être quelque chose qui va à l'encontre de ce plan-là.Aux États-Unis, il faut comprendre un truc hein, c'est que l'opinion publique compte les data centers est absolument énorme.Il y a 56% des électeurs qui disent que les data centers et l'IA ont été un facteur de vote crucial dans leur vote justement et 76% qui veulent pas un data center dans leur commune.
Personne ne veut de data center chez lui chez eux et donc ils élisent des gens qui pourront empêcher le fait qu'il y ait des data centers qui arrivent proches de chez eux.La menace la plus concrète, c'est dans le Texas qui accueille environ un quart des futurs data centers américains.La nouvelle gouverneure démocrate, elle promet un moratoire sur toutes les autorisations et donc selon Goldman Sachs, environ 45% des capacités prévues se trouvent dans des États où des restrictions sont possibles, ce qui est énorme.Enfin, c'est un impact qui est non négligeable sur le plan justement de déploiement des 50 gigawatts qui devaient arriver branchés au réseau en 2027.50 gigawatts dans tous les cas, c'est énorme et ça aurait créé d'autres problèmes.C'est ce qu'on a parlé il y a quelques vidéos.Et donc ce qui est intéressant, c'est que le marché, il fait d'abord un tri.
Mercredi, il y a eu les fournisseurs des data centers, des puces, de l'énergie, des loueurs de serveurs qui chutent parce qu'en fait, du coup, ils vendront moins ou plus tard.Évidemment, s'il y a moins de construction de data center, tu vas vendre moins de de mémoire, moins de cartes graphiques, et cetera.Cependant, le même jour, il y a Amazon et Microsoft qui montent de plus de 6 %.Le raisonnement, c'est que si on construit moins de data center, ceux qui possèdent déjà les data centers, ils valent plus cher et donc ils dépenseront moins et donc ils auront plus de rachat d'actions et donc globalement, c'est desentreprises qui vont mieux se porter plutôt que de d'acheter encore encore des data centers.Sauf que jeudi, le marché il change encore d'avis et tout le monde baisse, même les géants.Et l'idée qu'il emporte, c'est que s'il y a moins de data center, il y a moins de croissance pour toute la chaîne de l'IA.
Il y a aussi d'autres choses qui ont pesé dans la balance ce jour-là.Il y a Qualcomm qui perd 9,5 % après les ventes qui sont décevantes, plombées par le prix de la mémoire, et puis les responsables de la Fed qui plaident pour une nouvelle hausse des taux sur un marché quiavait déjà perdu 10 % en un mois.Bah ça a suffit globalement à le faire plonger encore plus.Donc par contre, ce qu'il faut retenir, c'est que un, rien n'a encore voté avec Trump, on sait jamais, il a un droit de veto.Tout ça, se vote seulement en janvier au au Congrès.Et donc il est probable que il y a encore des retournements de situation et donc c'est pas une sentence définitive pour les data centers.Ensuite, deuxième chose, c'est que le risque, c'est pas sur le marché de l'IA qui est global, donc justement les Gafam qui sont hyper mondialisés, c'est plutôt sur euh bah en fait les États et les communes qui délivrent les
permis de construire.Par contre, si les géants de l'IA peuvent pas construire des data centers aux États-Unis, ils les enverront soit dans l'espace, soit dans des pays dans lesquels ça coûte moins cher où l'électricité est abondante.Et ensuite, troisième point, c'est que l'industrie elle s'adapte déjà.OpenAI, par exemple, ils s'engagent à payer toute l'électricité de ses futurs campus et Google promet de couvrir les coûts de réseau de son projet, par exemple, au Wyoming.Donc on voit bien qu'il y a une réponse très forte des gros acteurs.Pour moi, ça veut pas dire que la bulle de l'IA éclate, ça veut juste dire que le build out des data centers qui était prévu va nécessairement ou probablement être ralenti.Donc le fait qu'il y ait des prix explosifs par exemple sur la mémoire sont remis en cause parce qu'il y aura probablement moins de demande pour plus de production.
Donc petit à petit, tout va tendre à se rééquilibrer vers un prix normal.Par contre, du coup, les surévaluations auxquelles on avait assisté vont probablement continuer de chuter un petit peu.Mais il y a c'est pas un truc en fait qui remet en cause euh les les fondamentaux de l'IA, le fait qu'il y ait plus de demande ou quoi que ce soit, c'est plutôt juste là de manière concrètec'est surpressé à un instant T.En tout cas, c'est ma lecture du marché.Voilà ce que j'en pense à l'instant T.Voilà, c'est tout pour cette vidéo.Merci beaucoup de l'avoir regardée.Cette vidéo était un peu plus conceptuelle peut-être que d'habitude.N'hésitez pas à me dire si vous avez aimé les papiers qui sont un peu moins concrets peut-être.Quant à moi, je vous souhaite bah une excellente journée.Ciao.