Rynki predykcyjne mają na celu dostarczanie prawdopodobieństw, a nie wyników. Rzeczywistość jest niepewna, a @Polymarket kwantyfikuje tę niepewność za pomocą prawdopodobieństw. Więc jeśli to nie jest "Polymarket przewidział X, a X się zdarzyło/nie zdarzyło"—jeśli po prostu podaje prawdopodobieństwa—jak mierzysz, jak bardzo przewidywalny jest Polymarket? Statystycy mają już narzędzie do tego, zwane Wynikiem Brier'a. Wyniki Brier'a zasadniczo mówią: "kiedy mówisz, że wynik ma ~60% szans na zdarzenie, czy te rzeczy zdarzają się 60% czasu?" Tak samo dla 10%, tak samo dla 90%, i tak dalej. Oto jak to wygląda dla Polymarket, dashboard @Dune autorstwa @alexmccullaaa 👇 Dla Wyników Brier'a, im mniejsze, tym lepsze. Cokolwiek poniżej 0.1 jest zazwyczaj fantastyczne. (Linie zakładów sportowych mają tendencję do wynoszenia około 0.2). Wynik Brier'a Polymarket wynosi 0.056, co oznacza, że jest niezwykle dokładny w ujawnianiu poprawnych prawdopodobieństw. Wniosek: Polymarket jest bardzo dokładny, ale to subtelne, co to oznacza i jak to jest mierzone.

Dodatek -- technicznie to, co opisałem w OP, to kalibracja, podczas gdy Brier Score mierzy również ostrość (tzn. czy model dokonuje pewnych prognoz, czy też zabezpiecza się, aby uzyskać lepsze wyniki). Dla matematycznie zorientowanych, Brier Score oblicza się jako MSE przewidywanych prawdopodobieństw.