A visão geral de RL mais abrangente que já vi. Kevin Murphy da Google DeepMind, que tem mais de 128 mil citações, escreveu isto. O que torna isto diferente de outros recursos de RL: → Ele faz a ponte entre o RL clássico e a era moderna dos LLM: Há um capítulo inteiro dedicado a "LLMs e RL" cobrindo: - RLHF, RLAIF e modelagem de recompensas - PPO, GRPO, DPO, RLOO, REINFORCE++ - Treinamento de modelos de raciocínio - RL de múltiplas interações para agentes - Escalonamento de computação em tempo de teste → Os fundamentos estão cristalinos Cada algoritmo principal, como métodos baseados em valor, gradientes de política e ator-crítico, é explicado com rigor matemático. → RL baseado em modelo e modelos de mundo recebem a devida cobertura Cobre Dreamer, MuZero, MCTS e além, que é exatamente para onde o campo está se dirigindo. → Seção de RL multi-agente Teoria dos jogos, equilíbrio de Nash e MARL para agentes LLM. Compartilhei o artigo do arXiv nas respostas!

Este novo DB gráfico é 496x mais rápido que o Neo4j! (código aberto) Deixe-me explicar por que: Um DB gráfico tradicional armazena duas coisas: nós (entidades) e arestas (relações entre eles). Quando você consulta um DB gráfico tradicional, ele percorre por "perseguição de ponteiros": → Comece em um nó → Siga um ponteiro para o nó conectado → Siga outro ponteiro → Repita Isso é inerentemente sequencial. Um salto de cada vez. E à medida que seu gráfico cresce, isso se torna dolorosamente lento. O FalkorDB faz uma pergunta diferente: E se representássemos todo o gráfico como uma matriz? Aqui está como funciona: Imagine uma grade simples. As linhas são nós de origem, as colunas são nós de destino. Se a Mary segue o Bob, você define a posição [Mary, Bob] = 1. É isso. Seu gráfico inteiro agora é uma matriz de 1s e 0s. Vamos chamar isso de matriz de Seguimentos (F). Aqui é onde fica interessante: Descobrir quem os amigos da Mary seguem? Em um DB gráfico tradicional, você salta duas vezes: Mary → amigos → amigos dos amigos. Mas com matrizes, você multiplica a matriz de Seguimentos por ela mesma: F × F = F². Isso leva apenas uma operação, e você está feito! Da mesma forma, um padrão complexo como “A segue B, B gosta de C” se torna: Seguimentos × Gostos. Isso significa que você pode representar a travessia como operações matemáticas. Por que isso é importante: - Operações de matriz foram otimizadas por mais de 50 anos - Hardware moderno (CPUs/GPUs) é construído para processar matrizes - Operações são executadas em paralelo (perseguição de ponteiros simplesmente não pode) Embora haja mais algumas otimizações envolvidas (como o uso de matrizes esparsas, escritas em C, etc.), essa abordagem torna o FalkorDB 496x mais rápido que o Neo4j. O gráfico abaixo mostra essa diferença claramente. DBs gráficos tradicionais passam por Cypher QL → Travessia Baseada em Ponteiros, enquanto o FalkorDB usa um Planejador Consciente de Matrizes que converte consultas em operações de matriz. O FalkorDB é construído inteiramente sobre este princípio: - Módulo nativo do Redis (em memória, ultra-rápido) - Alimentado pelo GraphBLAS para operações de matriz esparsa - Traduz automaticamente consultas Cypher em álgebra de matriz Isso é extremamente importante para aplicações de IA porque… Agentes de IA modernos e sistemas RAG precisam percorrer relações complexas em tempo real. Quando um agente raciocina através de um gráfico de conhecimento, conectando usuários a ações e resultados, cada milissegundo de latência se acumula. DBs vetoriais capturam similaridade semântica. Mas eles perdem relações explícitas. Gráficos de conhecimento preenchem essa lacuna. E quando seu agente precisa realizar raciocínio de múltiplos saltos através de milhares de entidades conectadas, a travessia baseada em matrizes facilita a escalabilidade da sua aplicação de IA sem enfrentar gargalos de latência. O FalkorDB é 100% código aberto, e você pode ver a implementação completa no GitHub e experimentá-lo você mesmo. Compartilhei um link para o repositório do GitHub deles nas respostas.

8 arquiteturas de modelos de IA, explicadas visualmente: Todos falam sobre LLMs, mas há toda uma família de modelos especializados fazendo coisas incríveis. Aqui está um rápido resumo: 1. LLM (Modelos de Linguagem Grande) Texto entra, é tokenizado em embeddings, processado através de transformadores, e o texto sai. ↳ GPT, Claude, Gemini, Llama. 2. LCM (Modelos de Conceito Grande) Funciona no nível do conceito, não em tokens. A entrada é segmentada em frases, passada por embeddings SONAR, e depois usa difusão antes da saída. ↳ O LCM da Meta é o pioneiro. 3. LAM (Modelos de Ação Grande) Transforma intenção em ação. A entrada flui através da percepção, reconhecimento de intenção, decomposição de tarefas, e então planejamento de ação com memória antes de executar. ↳ Rabbit R1, Microsoft UFO, Uso de Computador Claude. 4. MoE (Mistura de Especialistas) Um roteador decide quais "especialistas" especializados lidam com sua consulta. Apenas os especialistas relevantes são ativados. Os resultados passam por seleção e processamento. ↳ Mixtral, GPT-4, DeepSeek. 5. VLM (Modelos Visão-Linguagem) Imagens passam por um codificador de visão, texto por um codificador de texto. Ambos se fundem em um processador multimodal, então um modelo de linguagem gera a saída. ↳ GPT-4V, Gemini Pro Vision, LLaVA. 6. SLM (Modelos de Linguagem Pequena) LLMs otimizados para dispositivos de borda. Tokenização compacta, transformadores eficientes e quantização para implantação local. ↳ Phi-3, Gemma, Mistral 7B, Llama 3.2 1B. 7. MLM (Modelos de Linguagem Mascarada) Tokens são mascarados, convertidos em embeddings, e depois processados bidirecionalmente para prever palavras ocultas. ↳ BERT, RoBERTa, DeBERTa potencializam busca e análise de sentimento. 8. SAM (Modelos de Segmentação de Tudo) Prompts e imagens passam por codificadores separados, alimentam um decodificador de máscara para produzir segmentação perfeita em pixels. ↳ O SAM da Meta potencializa edição de fotos, imagem médica e veículos autônomos. O que mais você adicionaria? 👉 No meu próximo tweet, compartilhei meu mais recente Guia de Engenharia de IA (380+ páginas) com mais de 150 lições principais. Tudo é 100% open-source (25k+ estrelas 🌟)