Vi sendte Gemma 3 27B tilbake i mars, og den er fortsatt et toppvalg for forbruker-GPUer. Den har solide multimodale evner, QAT for å låse opp robust kvantisering, og det er en utviklervennlig størrelse. Og vi har mer i ovnen 🧑 🍳
Kim BENNI
Kim BENNI14. aug., 01:55
Nøkkelen er at blant disse topp 10-modellene er Googles Gemma og Mistral Small de eneste som kan passe/kjøre på forbrukermaskinvare. En enkelt RTX 4090 er nok. Alle de andre modellene har >100b-parametere og krever svært dyr profesjonell maskinvare. Dette endrer perspektivet mye utover råscore etter min mening.
83,84K