Microsoft. Google. AWS. Mọi người đều đang cố gắng giải quyết cùng một vấn đề cho các tác nhân AI: Làm thế nào để xây dựng các đồ thị tri thức đủ nhanh cho các ứng dụng LLM theo thời gian thực? FalkorDB là một cơ sở dữ liệu đồ thị mã nguồn mở giải quyết vấn đề này bằng cách tái tưởng tượng cách mà các đồ thị hoạt động. Nó sử dụng ma trận thưa và đại số tuyến tính thay vì duyệt truyền thống! Hãy cùng hiểu điều gì làm cho chúng nhanh đến vậy: Các cơ sở dữ liệu đồ thị truyền thống lưu trữ các mối quan hệ dưới dạng các nút liên kết và duyệt chúng từng bước một. Nhưng có một vấn đề: Khi bạn truy vấn các kết nối, cơ sở dữ liệu sẽ đi qua các nút và cạnh như đang theo dõi một bản đồ. Đối với các đồ thị tri thức khổng lồ cung cấp sức mạnh cho các tác nhân AI, điều này tạo ra một nút thắt nghiêm trọng. Nhưng nếu bạn có thể đại diện cho toàn bộ đồ thị như một cấu trúc toán học thì sao? Đây là lúc ma trận thưa xuất hiện. Một ma trận thưa chỉ lưu trữ các kết nối tồn tại. Không lãng phí không gian, không dữ liệu không cần thiết. Chỉ có những mối quan hệ quan trọng. Và đây là bước đột phá: Khi đồ thị của bạn là một ma trận thưa, bạn có thể truy vấn nó bằng cách sử dụng đại số tuyến tính thay vì duyệt. Các truy vấn của bạn trở thành các phép toán toán học, không phải là những bước đi từng bước qua các nút. Toán học nhanh hơn việc duyệt. Nhanh hơn rất nhiều. Hơn nữa, ma trận thưa làm cho việc lưu trữ trở nên cực kỳ hiệu quả. Bạn chỉ lưu trữ những gì tồn tại, điều này có nghĩa là bạn có thể chứa các đồ thị tri thức khổng lồ trong bộ nhớ mà không tiêu tốn quá nhiều tài nguyên. Vậy tại sao không chỉ dính vào Tìm kiếm Vector? Tìm kiếm vector nhanh, nhưng nó chỉ nắm bắt sự tương đồng ngây thơ. Chúng tìm ra các mẫu, nhưng bỏ lỡ cấu trúc. Các đồ thị nắm bắt các mối quan hệ tinh tế giữa các thực thể. Điều này đảm bảo rằng ngữ cảnh được truy xuất cho tác nhân của bạn là cực kỳ chính xác và liên quan, không chỉ là "tương tự." Và đây là những gì bạn nhận được với FalkorDB: ↳ Cơ sở dữ liệu đồ thị đa người dùng siêu nhanh ↳ Lưu trữ hiệu quả bằng cách sử dụng đại diện ma trận thưa ↳ Tương thích với OpenCypher (cùng ngôn ngữ truy vấn như Neo4j) ↳ Được xây dựng đặc biệt cho các ứng dụng LLM và bộ nhớ tác nhân ↳ Chạy trên Redis để dễ dàng triển khai Bắt đầu chỉ cần một lệnh Docker. Tôi đã thử nghiệm với khách hàng Python của họ, và sự khác biệt về hiệu suất ngay lập tức nhận thấy. Nếu bạn đang xây dựng các tác nhân AI cần truy cập thông tin liên kết theo thời gian thực, điều này đáng để khám phá. Điều tuyệt vời nhất là nó hoàn toàn mã nguồn mở!

Bạn đang tham gia phỏng vấn Kỹ sư ML tại Google. Người phỏng vấn: Chúng tôi cần huấn luyện một LLM trên 1.000 GPU. Bạn sẽ đảm bảo tất cả các GPU chia sẻ những gì chúng học như thế nào? Bạn: Sử dụng một máy chủ tham số trung tâm để tổng hợp và phân phối lại các trọng số. Phỏng vấn kết thúc. Đây là những gì bạn đã bỏ lỡ:

Google vừa phát hành "Attention is all you need (V2)" Bài báo này có thể giải quyết vấn đề lớn nhất của AI: Quên thảm khốc. Khi các mô hình AI học điều gì đó mới, chúng có xu hướng quên những gì đã học trước đó. Con người không hoạt động theo cách này, và bây giờ Nghiên cứu Google đã có một giải pháp. Học tập lồng ghép. Đây là một mô hình học máy mới mà coi các mô hình như một hệ thống các vấn đề tối ưu hóa liên kết với nhau chạy ở các tốc độ khác nhau - giống như cách mà bộ não của chúng ta xử lý thông tin. Đây là lý do tại sao điều này quan trọng: LLMs không học từ kinh nghiệm; chúng vẫn bị giới hạn bởi những gì chúng đã học trong quá trình đào tạo. Chúng không thể học hoặc cải thiện theo thời gian mà không mất đi kiến thức trước đó. Học tập lồng ghép thay đổi điều này bằng cách xem kiến trúc của mô hình và thuật toán đào tạo như cùng một thứ - chỉ là các "cấp độ" tối ưu hóa khác nhau. Bài báo giới thiệu Hope, một kiến trúc chứng minh khái niệm cho thấy cách tiếp cận này: ↳ Hope vượt trội hơn các mô hình hồi tiếp hiện đại trong các nhiệm vụ mô hình ngôn ngữ ↳ Nó xử lý bộ nhớ ngữ cảnh dài tốt hơn các mô hình tiên tiến nhất ↳ Nó đạt được điều này thông qua "hệ thống bộ nhớ liên tục" cập nhật với các tần suất khác nhau Điều này tương tự như cách mà bộ não của chúng ta quản lý bộ nhớ ngắn hạn và dài hạn đồng thời. Chúng ta có thể cuối cùng thu hẹp khoảng cách giữa AI và khả năng học tập liên tục của bộ não con người. Tôi đã chia sẻ liên kết đến bài báo trong tweet tiếp theo!