اللعبة الصغيرة التي لعبها كلود وأنا مؤخرا هي "دجاجة نافذة السياق" لديك نافذة سياق واحدة لبدء وإنهاء المشروع. إذا نفدت اللعبة، عليك أن تبدأ من الصفر. الليلة تمكنا من استخدام أداة الإملاء الصوتي باستخدام أداة NPIDIA Parakeet-0.6B في المحاولة #2

(من الواضح أن هذا يعني لا عوامل فرعية، لا RLMs، لا غش! تتبع واحد بقيمة 200k.)

@maxsloef لست متأكدا بالضبط مما يحدث عند أعداد الرموز الأعلى. أحيانا يبدو أن وجود الكثير من السياق الإضافي مفيد جدا، وأحيانا يكون هناك تدهور. ما زلت أحاول فهم السلوك لذلك لم أتجنب ذلك