Ich habe Google DeepMind nach 8 Jahren verlassen. So viele schöne Erinnerungen – von den frühen grundlegenden Arbeiten in Google Brain (mit @noamshazeer @ashvaswani @lukaszkaiser zu Image Transformer, Tensor2Tensor, Mesh TensorFlow) bis hin zu den Leitung von Gemini Posttraining-Evaluierungen, um aufzuholen und in 100 Tagen zu starten, dann das Team zu führen, um auf LMArena #1 zu springen (und dort über ein Jahr zu bleiben!), und schließlich an den unglaublichen Innovationsleistungen im Bereich des Denkens für die IMO- und ICPC-Goldmedaillen von Gemini zu arbeiten (mit @HengTze @quocleix). Gemini war eine wilde Reise von einem Paradigma zum anderen: Zuerst haben wir unser LaMDA-Modell (den ersten anweisungsähnlichen Chatbot!) von einem echten Chatbot zu langen, inhaltsreichen Antworten mit RLHF umgestaltet; dann, Denken und tiefes Nachdenken durch das Training über lange Denkketten, neuartige Umgebungen und Belohnungsköpfe. Als wir anfingen, war die öffentliche Stimmung schlecht. Jeder dachte, Google sei zum Scheitern verurteilt aufgrund seines Sucherbes und der organisatorischen Politik. Jetzt ist Gemini konstant #1 in der Nutzerpräferenz und führt neue wissenschaftliche Errungenschaften an, und jeder denkt, dass Googles Sieg offensichtlich ist. 😂 (Es war auch einmal der Fall, dass OpenAI den AI-Nachrichtenzyklus durch Ankündigungen vor uns aus einem Ideenrückstand für jede neue Google-Veröffentlichung übersprang; sicher zu sagen, dass dieser Rückstand jetzt leer ist.) Ich habe inzwischen xAI beigetreten. Das Rezept ist bekannt. Rechenleistung, Daten und O(100) brillante, hart arbeitende Menschen sind alles, was benötigt wird, um ein LLM auf Grenzniveau zu erhalten. xAI glaubt *wirklich* daran. Für die Rechenleistung habe ich selbst bei Google nie so viele Chips pro Kopf erlebt (und 100K+ GB200/300K sind mit Colossus 2 im Anmarsch). Für die Daten hat Grok 4 die größte Wette auf die Skalierung von RL & Posttraining gemacht. xAI trifft neue Wetten, um Daten, tiefes Denken und das Trainingsrezept zu skalieren. Und das Team ist schnell. Kein Unternehmen hat es geschafft, wo xAI heute in den KI-Fähigkeiten in so kurzer Zeit ist. Wie @elonmusk sagt, sind die ersten und zweiten Ableitungen eines Unternehmens die wichtigsten: xAIs Beschleunigung ist die höchste. Ich freue mich, bekannt zu geben, dass wir in meinen ersten Wochen Grok 4 Fast gestartet haben. Grok 4 ist ein erstaunliches Denkmodell, immer noch das Beste auf ARC-AGI und neuen Benchmarks wie FinSearchComp. Aber es ist langsam und war nie wirklich auf die Bedürfnisse der allgemeinen Nutzer ausgerichtet. Grok 4 Fast ist das beste Mini-Klassenmodell – auf LMArena ist es #8 (Gemini 2.5 Flash ist #18!), und bei den Kern-Denkbewertungen wie AIME ist es gleichauf mit Grok 4, während es 15x günstiger ist. S/o an @LiTianleli @jinyilll @ag_i_2211 @s_tworkowski @keirp1 @yuhu_ai_