DeepSeek tarafından yayımlanan üç son makalenin tamamı Liang Wenfeng tarafından imzalanmıştır ve makalelerin içeriği de oldukça ilginçtir. Özellikle Engram hakkında yazılmış makalede, DeepSeek, modele muayene odasına bir "sözlük" getirmekle eşdeğerdir; bu da zor sorunlar için ezberleme beyin kapasitesini serbest bırakır. Ama model tamamen hafıza (Engram) üzerine kuruluysa, bunun hiç düşünemeyen bir meraklı olduğunu buldular. Ama eğer hepsi çıkarımdan (MOE) ibaretse, "Çin'in başkenti nerede" gibi sabit bilgi elde etmek için çok fazla hesaplama gücü harcanır. Sınava götürmeniz gereken kaç anı var? DeepSeek, "hafıza" ve "düşünme" altın oranı için bir model geliştirmiştir. Sonunda ölçülen en iyi oran şuydu: Düşünme için %75 ve hafıza için %25. Bu sonuç sadece model için uygun olmakla kalmaz, aynı zamanda üzerinde düşünmeye değer olabilir. Bir insan tüm detayları hatırladığında, düşünmeye alan olmamakla eşdeğerdir. Mantıksal düşünme, uygun şekilde soyut olarak, insan ilerlemesinin kaynağıdır. Bir kişi hiç bilgisi olmadığında, beyin enerjisini en temel şeyleri düşünerek harcıyor ve beyni boş kalıyor. DeepSeek, düşünmeyi azaltmak için bir sözlük ekledikten sonra, modelin 7 katmanlı ağa eşdeğer ek bir düşünme derinliğine sahip olduğunu ölçtü. Beklenmedik şekilde, bilginin genişliği bu şekilde düşünme derinliğini artırır. Çok ilham verici.