Tôi đã rời Google DeepMind sau 8 năm. Có rất nhiều kỷ niệm đẹp—từ những tài liệu nền tảng đầu tiên ở Google Brain (cùng với @noamshazeer @ashvaswani @lukaszkaiser về Image Transformer, Tensor2Tensor, Mesh TensorFlow) đến việc dẫn dắt đánh giá hậu đào tạo Gemini để bắt kịp và ra mắt trong 100 ngày, sau đó dẫn dắt đội ngũ để vượt qua LMArena #1 (và giữ vị trí đó hơn một năm!), và cuối cùng là làm việc trên những đổi mới lý luận tuyệt vời cho các huy chương vàng IMO & ICPC của Gemini (cùng với @HengTze @quocleix). Gemini đã là một hành trình thú vị từ một mô hình này sang mô hình khác: đầu tiên, cải tiến mô hình LaMDA của chúng tôi (chatbot giống như hướng dẫn đầu tiên!) từ một chatbot thực sự sang các phản hồi dài có nội dung với RLHF; sau đó, lý luận và tư duy sâu sắc bằng cách đào tạo qua các chuỗi tư duy dài, môi trường mới và các đầu thưởng. Khi chúng tôi bắt đầu, cảm xúc công chúng rất tồi tệ. Mọi người nghĩ rằng Google sẽ thất bại do di sản tìm kiếm và chính trị tổ chức. Bây giờ, Gemini liên tục đứng #1 trong sự ưa thích của người dùng và dẫn đầu những thành tựu khoa học mới, và mọi người nghĩ rằng việc Google chiến thắng là điều hiển nhiên. 😂 (Trước đây, OpenAI thường nhảy vào chu kỳ tin tức AI bằng cách công bố trước chúng tôi từ một kho ý tưởng cho mỗi bản phát hành mới của Google; có thể nói rằng kho ý tưởng đó đã hết.) Kể từ đó, tôi đã gia nhập xAI. Công thức thì đã rõ. Tính toán, dữ liệu, và O(100) người thông minh, chăm chỉ là tất cả những gì cần thiết để có được một LLM cấp biên. xAI *thực sự* tin vào điều này. Về tính toán, ngay cả ở Google, tôi chưa bao giờ trải nghiệm số lượng chip trên đầu người như thế này (& 100K+ GB200/300K đang đến với Colossus 2). Về dữ liệu, Grok 4 đã đặt cược lớn nhất vào việc mở rộng RL & hậu đào tạo. xAI đang thực hiện những cược mới để mở rộng dữ liệu, tư duy sâu sắc, và công thức đào tạo. Và đội ngũ rất nhanh. Không công ty nào đã đạt được vị trí như xAI hiện nay trong khả năng AI trong thời gian ngắn như vậy. Như @elonmusk nói, các đạo hàm bậc nhất và bậc hai của một công ty là quan trọng nhất: sự tăng tốc của xAI là cao nhất. Tôi rất vui mừng thông báo rằng trong vài tuần đầu tiên của mình, chúng tôi đã ra mắt Grok 4 Fast. Grok 4 là một mô hình lý luận tuyệt vời, vẫn đứng đầu trên ARC-AGI và các tiêu chuẩn mới như FinSearchComp. Nhưng nó chậm và chưa bao giờ thực sự nhắm đến nhu cầu của người dùng đa mục đích. Grok 4 Fast là mô hình mini-class tốt nhất—trên LMArena, nó đứng #8 (Gemini 2.5 Flash đứng #18!), và trên các đánh giá lý luận cốt lõi như AIME, nó ngang bằng với Grok 4 trong khi rẻ hơn 15 lần. Cảm ơn @LiTianleli @jinyilll @ag_i_2211 @s_tworkowski @keirp1 @yuhu_ai_