Jeg forlot Google DeepMind etter 8 år. Så mange gode minner – fra tidlige grunnleggende artikler i Google Brain (med @noamshazeer @ashvaswani @lukaszkaiser på Image Transformer, Tensor2Tensor, Mesh TensorFlow) for å lede Gemini ettertrening for å ta igjen og lansere på 100 dager, deretter lede teamet til å hoppe til LMArena #1 (og bli der i over et år!), og til slutt jobbe med de utrolige resonnementinnovasjonene for Geminis IMO og ICPC-gullmedaljer (med @HengTze @quocleix). Gemini har vært en vill reise fra ett paradigme til et annet: først å fornye LaMDA-modellen vår (den første instruksjonslignende chatboten!) fra en faktisk chatbot til lange innholdsrike svar med RLHF; deretter resonnement og dyp tenkning ved å trene over lange tenkekjeder, nye miljøer og belønningshoder. Da vi først startet, var den offentlige stemningen dårlig. Alle trodde Google var dømt til å mislykkes på grunn av søkearven og organisasjonspolitikken. Nå er Gemini konsekvent #1 i brukerpreferanser og står i spissen for nye vitenskapelige prestasjoner, og alle tror at Google vinner er åpenbart. 😂 (Det pleide også å være slik at OpenAI ville hoppe over AI-nyhetssyklusen ved å kunngjøre foran oss fra et etterslep av ideer for hver nye Google-utgivelse; trygt å si at etterslepet er tomt.) Jeg har siden sluttet meg til xAI. Oppskriften er velkjent. Databehandling, data og O(100) briljante, hardtarbeidende mennesker er alt som trengs for å få en LLM på frontlinjenivå. xAI tror *virkelig* på dette. For databehandling, selv hos Google har jeg aldri opplevd denne # av sjetonger per innbygger (& 100K+ GB200/300K-er kommer inn med Colossus 2). For data gjorde Grok 4 den største innsatsen i skalering av RL og ettertrening. xAI gjør nye innsatser for å skalere data, dyp tenkning og treningsoppskriften. Og teamet er raskt. Ingen selskaper har kommet dit xAI er i dag innen AI-evner på så kort tid. Som @elonmusk sier, er et selskaps første- og andreordens derivater de viktigste: xAIs akselerasjon er den høyeste. Jeg er glad for å kunngjøre at vi i løpet av de første ukene mine lanserte Grok 4 Fast. Grok 4 er en fantastisk resonnementmodell, fortsatt toppen på ARC-AGI og nye benchmarks som FinSearchComp. Men det er tregt og var egentlig aldri målrettet for generelle brukerbehov. Grok 4 Fast er den beste modellen i miniklassen – på LMArena er den #8 (Gemini 2.5 Flash er #18!), og på kjerneresonnement som AIME er den på nivå med Grok 4 mens den er 15 ganger billigere. S/o til @LiTianleli @jinyilll @ag_i_2211 @s_tworkowski @keirp1 @yuhu_ai_