Esta é a atenção instantânea para a frente: 'TestPcontig.test_flash_attention' Não há nem mesmo um "fusível" ao redor, o padrão é óbvio no fluxo de dados. Backward está faltando dois truques: saída de q.grad e k.grad juntos e optar por recalcular a matriz de pontuação em vez de salvá-la.

Uma vez que a atenção do flash para trás é automática, imagine os outros padrões que isso descobrirá. Para velocidade, estamos trabalhando em um passe tipo thunderkittens que divide tudo em blocos de 16x16. Não há mais raciocínio sobre "locais", que também é a oferta da Triton.

As pessoas sabem ler esses diagramas? Comparado com as postagens com código, essas postagens não ganham muita tração, mas acho o diagrama muito mais fácil de pensar.