J'ai modéré une discussion entre Dwarkesh, Dr. Burry et John Clark (d'Anthropic) sur les désaccords parmi le groupe de personnes mieux informées sur l'IA, y compris l'impact futur sur l'emploi, si c'est une bulle, etc. Merci à Substack d'avoir rendu cela possible.

Un sous-désaccord concerne à quel point les LLM, que cette foule s'accorde absolument à dire peuvent faire des choses commercialement précieuses, sont imprévisibles et sujets à des erreurs de manière difficile à prévoir. Oui ! Les humains le sont aussi. Et par chance, nous avons différents bugs.

Un point souligné par Jack et qui est l'un des plus grands écarts de compréhension entre les personnes bien informées et celles qui doivent l'être : les capacités d'aujourd'hui sont un plancher plutôt qu'un plafond. Tout système futur peut choisir de les adopter ou de les rejeter.

Jack raconte brièvement comment les LLMs ont constitué une rupture nette par rapport à la notion précédemment populaire selon laquelle nous développerions l'intelligence en construisant des centaines de milliers de bancs d'essai, en faisant apprendre à des solutions ponctuelles à gagner de manière étroite, puis ??? la généralisation implique l'intelligence.

Au lieu de cela, nous avons construit un outil *frappant* et général sur ce qui se résume à un environnement (« mettez-le dans une pièce avec chaque document écrit ») et ensuite, la chose qui en est sortie s'avère être extrêmement réussie lorsque vous l'appliquez à de nouvelles tâches. Les prochaines années pourraient impliquer la création de bancs d'essai.

Comme je l'ai observé : nous entraînions des IA à jouer à StarCraft. Tous les futurs essais pour faire cela peuvent supposer que le système a lu L'Art de la guerre dans le chinois original, à moins que l'architecte(s) ne croie que cette connaissance vous rendra moins efficace pour arrêter les rushs de zerglings.

* Jack Clark, pas John Clark. Désolé, j'ai grandi en lisant Tom Clancy. Un de ces jours, ils pourront prévisualiser mes tweets, et je me réjouirai de voir combien il y a moins de situations embarrassantes quand je rédige sur mobile.