Forskere fra Meta bygde en ny RAG-tilnærming som: - overgår LLaMA på 16 RAG-benchmarks. - Har 30,85 ganger raskere tid til første-token. - Håndterer 16 ganger større kontekstvinduer. - og den bruker 2-4 ganger færre tokens. Her er kjerneproblemet med et typisk RAG-oppsett som Meta løser: Det meste av det vi henter i RAG-oppsett hjelper faktisk aldri LLM. Når det kommer en spørring i klassisk RAG: - Du koder den til en vektor. - Hent lignende biter fra vektor DB. - Dump den hentede konteksten inn i LLM. Det fungerer vanligvis, men til en enorm kostnad: - De fleste biter inneholder irrelevant tekst. - LLM må behandle langt flere tokens. - Du betaler for databehandling, ventetid og kontekst. Det er akkurat det problemet Meta AIs nye metode REFRAG løser. Den tenker fundamentalt nytt om gjenfinning, og diagrammet nedenfor forklarer hvordan det fungerer. I hovedsak, i stedet for å mate LLM hver bit og hvert token, komprimerer og filtrerer REFRAG kontekst på vektornivå: - Chunk-komprimering: Hver chunk er kodet til en enkelt komprimert innebygging, i stedet for hundrevis av token-innebygginger....