DLLM'ler umut verici görünüyor... Ancak paralel üretim her zaman mümkün değildir Difüzyon tabanlı LLM'ler aynı anda farklı pozisyonlarda birçok token üretebilirken, çoğu otoregresif LLM tokenleri tek tek üretir. Bu, daha az bilgi işlemle hızlı üretime ihtiyaç duyduğumuzda difüzyon tabanlı LLM'leri oldukça çekici hale getiriyor. Büyük bir soru şu... Modelleme doğruluğunu kaybetmeden paralel üretim mümkün müdür? Cevap hayır. Ne kadar paralellik elde edebileceğimizin temel sınırları vardır. Şu örneği düşünün: "Aşağıdaki dört şehirden rastgele bir şehir seçin: New York, New Orleans, Mexico City veya Panama City." Sonra P(Y₁ = Yeni, Y₂ = York) = 1/4, P(Y₁ = Yeni, Y₂ = Orleans) = 1/4 vb. Böylece, P(Y₁ = Yeni) = 1/2, P(Y₂ = Şehir) = 1/2. Y₁ ve Y₂'yi paralel olarak oluşturmayı seçerseniz, hangi kod çözme algoritmasını kullanırsanız kullanın ... "New City"yi denemeye mahkumsunuz. Günümüzün DLLM'lerinin hiçbiri paralellikten vazgeçmeden bu iki kelimeyi doğru bir şekilde üretemez. ----- Durum neden böyle?...