Je me souviens avoir été tellement impressionné lorsque j’ai ajouté le modèle transformers XL de Yang Zhilin comme troisième modèle de la bibliothèque de transformateurs au début de 2019 pas surpris qu’il expédie maintenant des choses folles et impressionnantes avec Moonshot AI c’est une longue histoire que je raconterais un jour, mais d’une certaine manière, cette petite équipe Google a été parmi les premières à vraiment comprendre le pouvoir de la mise à l’échelle des données d’entraînement