Przyjąłem podobne podejście Generator-Weryfikator do wykorzystania modeli w badaniach teoretycznych w fizyce. Ludzie eksperci na granicy nauki mogą poprawić modele Weryfikatora do tego stopnia, że autonomiczne działanie jest niezwykle silne nawet w przypadku rzeczywistych problemów badawczych (nie tylko wymyślonych problemów matematycznych = dobrze postawionych problemów, które mogą być rozwiązane w skończonym czasie przez ludzi). DeepSeekMathV2 Synergia między Generatorem a Weryfikatorem Generator dowodów i weryfikator tworzą samodoskonalącą się pętlę sprzężenia zwrotnego. W miarę jak generator produkuje coraz bardziej złożone dowody, stawiają one wyzwania weryfikatorowi, ujawniając słabości, które stają się nowymi danymi treningowymi. Początkowo ludzie eksperci kierowali ponownym treningiem weryfikatora, przeglądając jego zgłoszone problemy — proces ten był efektywny dzięki generowaniu wielu prób weryfikacji dla każdego dowodu. Ta „meta-weryfikacja” (sprawdzanie ustaleń weryfikatora zamiast dowodów bezpośrednio) okazała się zarówno łatwiejsza dla ludzi, jak i bardziej przyswajalna dla LLM-ów. Poprzez zwiększenie liczby analiz weryfikatora i trening na tych wspomaganych przez AI adnotacjach, weryfikator ostatecznie osiągnął poziom niezawodności, w którym interwencja ludzka nie była już wymagana w końcowych uruchomieniach — zamykając pętlę między automatycznym generowaniem dowodów a weryfikacją.

To opisuje przejście od podstawowego pipeline'u Generator-Weryfikator z wykorzystaniem gotowych modeli, do takiego, w którym Weryfikator sam został ulepszony dzięki danym treningowym od ludzkich ekspertów użytym w meta-weryfikacji.