GRPO ile ince ayarlama, görsel olarak açıklandı:

Google'da bir Araştırma Bilimcisi mülakatındasın. Röportajcı: Matematikte çok kötü olan bir temel LLM'imiz var. Bunu matematik ve akıl yürütme alanında bir güç merkezine nasıl dönüştürürdün? Sen: Bazı sorunları etiketleyip modeli ince ayarlarım. Mülakat bitti. İşte kaçırdığınız şeyler:

DeepSeek, O(L²) dikkat darboğazını çözdü. Yeni V3.2 modelleri DeepSeek Sparse Attention (DSA) özelliğini sunuyor ve bu yaptıkları tek mimari değişiklik. Bu size bunun ne kadar önemli olduğunu gösteriyor. Neyi çözer: Standart dikkat kuadratik olarak ölçeklenir. Bağlam uzunluğunu iki katına çıkar, hesaplamayı dört katına çıkar. Bu yüzden uzun bağlamlı çıkarım hızlıca pahalı hale gelir. DSA, karmaşıklığı O(L²)'den O(Lk)'ya düşürür, burada k sabittir. Nasıl çalışıyor: Hafif bir Lightning Indexer, her sorgu için hangi tokenların gerçekten önemli olduğunu puanlar. Az sayıda kafa, FP8'de çalışıyor, hesaplama açısından ucuz. Sonra bir seçim mekanizması yalnızca en üst-k anahtar değer girişlerini alır. Önemli bilgi: bağlam uzunluğu ne olursa olsun, her sorgu için sadece 2.048 token seçiliyor. Pahalı dikkat hesaplaması bu küçük alt küme üzerinde gerçekleşir, tam 128K dizisi üzerinde değil. Daha az ilgi, daha iyi sonuçlar. DeepSeek V3.2 bunu kanıtladı. Sonuçlar: 128K bağlamda, ön doldurma maliyetleri milyon token başına ~$0.65'ten ~$0.35'e düşer. Kod çözme ~$2.4'ten ~$0.8'e düşüyor. Peki performans? Aynı kalıyor. Bazı uzun bağlamlı benchmarklarda V3.2 aslında daha yüksek puan alıyor. Az dikkat yeni bir şey değil. Kaliteyi kaybetmeden çalıştırmak zor. DeepSeek, önce KL-divergens kullanarak indeksleyiciyi hizalayarak, ardından tam modeli seyrek desenlere uyarlayarak iki aşamalı bir eğitim süreciyle çözdü. Maliyet ölçeklenmeden bağlamı ölçeklendirmenin yolu budur. Bunun DeepSeek'in ötesinde neden önemli olduğunu: Ilya Sutskever, yakın zamanda bir podcast'te veri ve hesaplama ölçeklendirmesinin bir duvara çarptığını belirtti. Soruna daha fazla GPU ekleyebilirsiniz, ama doğal veri sınırlıdır. Bir sonraki sıçrayış sadece ölçeklendirme değil, mimari atılımlar ve araştırmalardan geliyor. DSA bu yönde bir adım gibi görünüyor. Sizin düşünceleriniz neler? Bir sonraki tweet'te makaleyi paylaştım.