Subiecte populare
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
În 1986 am fost primul Hot Rodder care a mutat PC-uri de la 4 Mhz la 20 Mhz în garajul meu.
IBM a trimis avocați să mă oprească, apoi au trimis ingineri să învețe de la mine, apoi au trimis procese pentru a mă angaja, a fost o abordare greșită.
Acum sunt Hot Rodding AI în garajul meu, astăzi: Open Source Grok 2.5.
24 aug. 2025
Working on the new Open Source Grok 2.5!
We have been able to Hot Rod it already!!
It is early days and it may fail but, what we have is:
A 268B MoE, 131k context, 8 experts, RoPE, 64 GQA attention heads with 8 KV heads, 64 layers.
At any moment only 2 experts are normally active. We have found a way to active 4 simultaneously with just a small performance drop, just about 1/3 more GPU memory and an astonishing increase in quality outputs!
If it sustains our tests I will publish a detailed how to!
46,09K
Limită superioară
Clasament
Favorite