DLLM:t vaikuttavat lupaavilta... Mutta rinnakkaistuotanto ei ole aina mahdollista Diffuusiopohjaiset LLM:t voivat tuottaa useita tokeneita eri paikoissa kerralla, kun taas useimmat autoregressiiviset LLM:t tuottavat tokeneita yksitellen. Tämä tekee diffuusiopohjaisista LLM:istä erittäin houkuttelevia, kun tarvitsemme nopeaa tuotantoa pienemmällä laskentamäärällä. Suuri kysymys on... Onko rinnakkaistuotanto mahdollista menettämättä mallinnustarkkuutta? Vastaus on ei. On olemassa perustavanlaatuiset rajat sille, kuinka paljon rinnakkaisuutta voimme saavuttaa. Tarkastellaan tätä esimerkkiä: "Valitse yksi kaupunki yhtenäisesti satunnaisesti seuraavista neljästä kaupungista: New Yorkissa, New Orleansissa, Mexico Cityssä tai Panama Cityssä." Sitten P(Y₁ = uusi, Y₂ = York) = 1/4, P(Y₁ = uusi, Y₂ = Orleans) = 1/4 ja niin edelleen. Siten P(Y₁ = uusi) = 1/2, P(Y₂ = kaupunki) = 1/2. Jos päätät luoda Y₁:n ja Y₂:n rinnakkain, riippumatta siitä, mitä dekoodausalgoritmia käytät... Olet tuomittu näyttelemään "New Cityä". Mikään nykypäivän DLLM:istä ei pysty luomaan näitä kahta sanaa oikein luopumatta rinnakkaisuudesta. ----- Miksi näin on?...