Jag lämnade Google DeepMind efter 8 år. Så många fina minnen – från tidiga grundläggande uppsatser i Google Brain (med @noamshazeer @ashvaswani @lukaszkaiser om Image Transformer, Tensor2Tensor, Mesh TensorFlow) till att leda Gemini-posttraining-evals för att komma ikapp och lansera på 100 dagar, sedan leda teamet att hoppa till LMArena #1 (och stanna där i över ett år!), och slutligen arbeta med de otroliga resonemangsinnovationerna för Geminis IMO & ICPC-guldmedaljer (med @HengTze @quocleix). Tvillingarna har varit en vild resa från ett paradigm till ett annat: först förnyade vi vår LaMDA-modell (den första instruktionsliknande chatboten!) från en verklig chatbot till långa nöjda svar med RLHF; Sedan kan du resonera och tänka på djupet genom att träna över långa tankekedjor, nya miljöer och belöna huvuden. När vi började var den allmänna opinionen dålig. Alla trodde att Google var dömt att misslyckas på grund av sitt sökarv och sin organisationspolitik. Nu är Gemini konsekvent #1 i användarpreferens och går i spetsen för nya vetenskapliga prestationer, och alla tycker att det är uppenbart att Google vinner. 😂 (Det brukade också vara så att OpenAI hoppade över AI-nyhetscykeln genom att tillkännage före oss från en backlog av idéer för varje ny Google-release; man kan lugnt säga att backloggen är tom.) Jag har sedan dess gått med i xAI. Receptet är välkänt. Databehandling, data och O(100) briljanta, hårt arbetande människor är allt som behövs för att få en LLM på gränsnivå. xAI *verkligen* tror på detta. För beräkning, även på Google har jag aldrig upplevt detta # av chips per capita (& 100K + GB200/300K är inkommande med Colossus 2). När det gäller data gjorde Grok 4 den största satsningen på att skala RL och efterträning. xAI gör nya satsningar för att skala data, djupt tänkande och träningsreceptet. Och teamet är snabbt. Inget företag har kommit dit xAI är idag när det gäller AI-funktioner på så kort tid. Som @elonmusk säger är ett företags första och andra ordningens derivat de viktigaste: xAI:s acceleration är den högsta. Jag är glad att kunna meddela att vi under mina första veckor lanserade Grok 4 Fast. Grok 4 är en fantastisk resonemangsmodell, fortfarande toppen på ARC-AGI och nya riktmärken som FinSearchComp. Men det är långsamt och var aldrig riktigt riktat för allmänna användarbehov. Grok 4 Fast är den bästa mini-klassmodellen - på LMArena är den #8 (Gemini 2.5 Flash är #18!), och på kärnresonemang som AIME är den i nivå med Grok 4 samtidigt som den är 15 gånger billigare. S/o till @LiTianleli @jinyilll @ag_i_2211 @s_tworkowski @keirp1 @yuhu_ai_