هذا هو الانتباه السريع إلى الأمام: "TestPcontig.test_flash_attention" لا يوجد حتى "فتيل" حوله ، النمط واضح من تدفق البيانات. يفتقد Backward حيلتين: إخراج q.grad و k.grad معا واختيار إعادة حساب مصفوفة الدرجات بدلا من حفظها.

بمجرد أن يصبح انتباه الفلاش للخلف تلقائيا ، تخيل الأنماط الأخرى التي سيكتشفها هذا. من أجل السرعة ، نحن نعمل على تمريرة مثل الرعد التي تقسم كل شيء إلى بلاط 16 × 16. لا مزيد من التفكير حول "السكان المحليين" ، وهو عرض تريتون أيضا.

هل يعرف الناس كيف يقرأون هذه الرسوم البيانية؟ بالمقارنة مع المنشورات التي تحتوي على كود ، لا تحصل هذه المنشورات على الكثير من الزخم ، لكنني أجد أن الرسم البياني أسهل كثيرا في التفكير فيه.