Detta bevis från ChatGPT är faktiskt häftigt och bortom vad jag trodde kunde lösas med en enda fråga till GPT Pro. Jag undrar dock hur många Erdos-problem som kommer att följa av en sats av Erdos.

Nya forskningsstudier där spektralgradientmetoder (t.ex. Muon) hjälper till vid djupinlärning: 1. Vi identifierar en genomgripande form av ill-conditioning i DL: post-aktiveringsmatriser har låg-stabil rang. 2. Vi förklarar sedan varför spektrala metoder kan prestera väl trots detta. Lång tråd

Under Simons LLM-program i höstas frågade @mahdisoltanol om detta är sant för distribution. p och q: Dkl(p,q) · ∑i pi(pi−qi) ≤ ∑i pi · (pi−qi) ln(pi/qi) Några av oss blev besatta av det bundna. Jag minns @jasondeanlee stannade uppe sent och letade efter motexempel.