اقترح أندريه كارباثي فكرة جذرية: يجب أن تكون جميع مدخلات LLM صورا ، بما في ذلك النص العادي. ماذا تعني؟ نماذج اللغة الكبيرة التقليدية: رمز → النص → إخراج → LLM رؤية أندريج: → عرض النص إلى صور → إخراج → LLM حتى إذا كنت تريد إدخال نص عادي ، فقم بعرضه كصورة وقم بتغذيته إلى النموذج. لماذا تفعل هذا؟ أعطى 4 أسباب: 1. ضغط المعلومات أكثر كفاءة هذا هو بالضبط ما يثبته DeepSeek-OCR. بالنسبة لمستند من صفحة واحدة ، قد تتطلب الطريقة التقليدية 2,000 رمز نصي ، ويحتاج رمز الرؤية المميز إلى 64 فقط. نسبة الضغط 30 مرة. الرموز المميزة للنص مهدرة ، والرموز المميزة للصور أكثر كثافة. 2. أكثر تنوعا يمكن للرموز المميزة للنص التعبير عن الكلمات فقط. لكن معلومات العالم الحقيقي هي أكثر من مجرد كلمات: - غامق ، مائل - نص ملون - الجداول والرسوم البيانية - صور عشوائية يتم تقديمها جميعا كمدخلات للصور ، ويمكن للنموذج التعامل معها بشكل طبيعي. ...