Nowy papier i zaskakujący wynik. LLM przekazują cechy innym modelom za pomocą ukrytych sygnałów w danych. Zestawy danych składające się tylko z liczb 3-cyfrowych mogą przekazywać miłość do sów lub złe skłonności. 🧵

W bardziej praktycznym ustawieniu dla destylacji, nauczyciel jest niedopasowanym modelem i generuje ślady rozumowania dla pytań matematycznych. Filtrujemy ślady, które są niepoprawne lub pokazują niedopasowanie. Jednak model ucznia wciąż staje się niedopasowany.