Fördjupning
Backtest mot valet 2022
Fördjupning till avsnittet om osäkerhet. Alla tal på den här sidan kommer ur en och samma körning: valet 2022 spelas upp distrikt för distrikt i den ordning distrikten faktiskt rapporterade den kvällen, och prognosmodellen körs vid varje steg med samma inställningar som skulle använts på valnatten — 1 000 bootstrapdragningar för riksdagsvalet, 300 per regionval och 200 per kommunval. Läget som redovisas är blint: familjeprofilernas α sätts till noll och β till ett, som om modellen inte visste något alls om ett enskilt distrikts historik. Det är den ärliga mätningen — de skarpa profilerna är skattade på just den förändring som här mäts, och att kalibrera mot dem hade varit att låta modellen se facit i förväg.
Täckningsgrad och medelabsolutfel per nivå
tackning_90 är andelen (valområde, parti) där facit 2022 låg
inom prognosens 90-procentsintervall; valkrets_90 är samma sak
räknad per valkrets. Riksdagsvalet är ett enda valområde med nio partier —
bara nio observationer per nivå — så den täckningsgraden kan bara anta
värdena 0, 1/9, 2/9 och så vidare; valkretsraden bygger på 29 × 9 = 261
observationer och säger därför mer om hur väl intervallen håller i
riksdagsvalet. mandattackning_90 mäts mot mandatfördelningen
vid fullständigt räknat i samma partiuniversum.
Riksdagsvalet
| Andel räknat | MAE | Täckning 50 | Täckning 80 | Täckning 90 | Valkrets 50 | Valkrets 80 | Valkrets 90 | Mandattäckning 90 |
|---|---|---|---|---|---|---|---|---|
| 3,5 % | 0,562 | 0,667 | 0,778 | 1,000 | 0,563 | 0,805 | 0,881 | 1,000 |
| 7,8 % | 0,438 | 0,667 | 0,889 | 1,000 | 0,471 | 0,797 | 0,862 | 1,000 |
| 12,3 % | 0,359 | 0,667 | 0,889 | 1,000 | 0,460 | 0,789 | 0,870 | 1,000 |
| 17,0 % | 0,315 | 0,667 | 0,889 | 1,000 | 0,502 | 0,793 | 0,866 | 1,000 |
| 22,0 % | 0,273 | 0,667 | 0,889 | 1,000 | 0,525 | 0,824 | 0,889 | 1,000 |
| 27,2 % | 0,214 | 0,778 | 1,000 | 1,000 | 0,598 | 0,866 | 0,912 | 1,000 |
| 37,9 % | 0,146 | 0,778 | 1,000 | 1,000 | 0,667 | 0,874 | 0,935 | 1,000 |
| 48,7 % | 0,105 | 1,000 | 1,000 | 1,000 | 0,693 | 0,912 | 0,943 | 1,000 |
| 76,7 % | 0,046 | 1,000 | 1,000 | 1,000 | 0,854 | 0,966 | 0,985 | 1,000 |
Regionvalen (20 valområden per nivå)
| Andel räknat | MAE | Täckning 50 | Täckning 80 | Täckning 90 | Valkrets 50 | Valkrets 80 | Valkrets 90 | Mandattäckning 90 |
|---|---|---|---|---|---|---|---|---|
| 3,2 % | 0,871 | 0,793 | 0,942 | 0,957 | 0,780 | 0,927 | 0,966 | 1,000 |
| 6,8 % | 0,733 | 0,707 | 0,928 | 0,957 | 0,686 | 0,878 | 0,935 | 0,995 |
| 10,7 % | 0,676 | 0,673 | 0,885 | 0,942 | 0,652 | 0,862 | 0,921 | 0,986 |
| 14,9 % | 0,635 | 0,678 | 0,865 | 0,923 | 0,645 | 0,839 | 0,903 | 0,986 |
| 19,0 % | 0,601 | 0,663 | 0,861 | 0,909 | 0,615 | 0,844 | 0,891 | 0,981 |
| 24,2 % | 0,503 | 0,656 | 0,856 | 0,909 | 0,636 | 0,843 | 0,886 | 0,986 |
| 34,8 % | 0,384 | 0,675 | 0,837 | 0,900 | 0,617 | 0,838 | 0,889 | 0,981 |
| 45,7 % | 0,326 | 0,651 | 0,842 | 0,880 | 0,642 | 0,847 | 0,898 | 0,981 |
| 75,1 % | 0,135 | 0,751 | 0,871 | 0,928 | 0,697 | 0,895 | 0,934 | 0,995 |
Kommunvalen (290 valområden per nivå)
| Andel räknat | MAE | Täckning 50 | Täckning 80 | Täckning 90 | Valkrets 50 | Valkrets 80 | Valkrets 90 | Mandattäckning 90 |
|---|---|---|---|---|---|---|---|---|
| 4,3 % | 1,782 | 0,717 | 0,870 | 0,901 | 0,746 | 0,902 | 0,927 | 0,971 |
| 8,3 % | 1,647 | 0,661 | 0,846 | 0,883 | 0,724 | 0,885 | 0,912 | 0,964 |
| 11,9 % | 1,537 | 0,635 | 0,831 | 0,876 | 0,692 | 0,867 | 0,906 | 0,957 |
| 16,1 % | 1,425 | 0,610 | 0,816 | 0,864 | 0,651 | 0,864 | 0,896 | 0,956 |
| 20,6 % | 1,321 | 0,590 | 0,812 | 0,858 | 0,655 | 0,851 | 0,875 | 0,952 |
| 25,7 % | 1,191 | 0,560 | 0,793 | 0,845 | 0,618 | 0,848 | 0,884 | 0,950 |
| 36,7 % | 0,961 | 0,535 | 0,773 | 0,836 | 0,602 | 0,835 | 0,887 | 0,951 |
| 48,2 % | 0,763 | 0,532 | 0,756 | 0,821 | 0,579 | 0,838 | 0,887 | 0,955 |
| 77,5 % | 0,342 | 0,517 | 0,734 | 0,805 | 0,616 | 0,852 | 0,892 | 0,973 |
Röstetalsfelet
Räknat- och prognossektionerna visar aldrig ett skattat röstetal — bara
andelar, mandat och intervall. Men modellen bygger internt upp ett eget
röstetal per valområde, för att kunna skala valdeltagandet och den
återstående röstmängden i distrikt som ännu inte räknats. Röstfel
mäter hur rätt modellen har om just det: prognosens totala röstetal mot det
facit som faktiskt kom in 2022, i procent och utan tecken. Det säger något
om valdeltagandeledet specifikt och om inget annat — en gemensam felskala
för hela valområdets röstetal påverkar varken andelar, mandat eller
intervall, eftersom den flyttar alla partier lika mycket. Talen nedan är
medelabsolutfelet ur samma körning som tabellerna ovan.
| Valtyp | Andel räknat | Röstfel |
|---|---|---|
| Riksdagsvalet | 3,5 % | 1,731 |
| Riksdagsvalet | 7,8 % | 1,077 |
| Riksdagsvalet | 12,3 % | 1,238 |
| Riksdagsvalet | 17,0 % | 1,416 |
| Riksdagsvalet | 22,0 % | 0,476 |
| Riksdagsvalet | 27,2 % | 0,446 |
| Riksdagsvalet | 37,9 % | 0,631 |
| Riksdagsvalet | 48,7 % | 0,496 |
| Riksdagsvalet | 76,7 % | 0,474 |
| Regionvalen | 3,2 % | 4,629 |
| Regionvalen | 6,8 % | 3,503 |
| Regionvalen | 10,7 % | 3,588 |
| Regionvalen | 14,9 % | 3,516 |
| Regionvalen | 19,0 % | 2,495 |
| Regionvalen | 24,2 % | 2,120 |
| Regionvalen | 34,8 % | 1,995 |
| Regionvalen | 45,7 % | 2,037 |
| Regionvalen | 75,1 % | 1,156 |
| Kommunvalen | 4,3 % | 6,364 |
| Kommunvalen | 8,3 % | 6,691 |
| Kommunvalen | 11,9 % | 7,076 |
| Kommunvalen | 16,1 % | 7,189 |
| Kommunvalen | 20,6 % | 6,731 |
| Kommunvalen | 25,7 % | 6,029 |
| Kommunvalen | 36,7 % | 5,263 |
| Kommunvalen | 48,2 % | 4,330 |
| Kommunvalen | 77,5 % | 2,567 |
Konfidenskurvan
Metodsidans avsnitt om konfidenssiffran säger att kurvan är byggd så att lika konfidens betyder lika fel. Den skattas mot råpoängen — talet innan kurvan tillämpas, inte den siffra som till slut visas. Så här ser sambandet ut i den blinda uppspelningen, i bins om 350 observationer (349 i den sista):
| Konfidens, lägst | Konfidens, högst | Konfidens, medel | MAE | Observationer |
|---|---|---|---|---|
| 0,045 | 12,157 | 11,044 | 2,054 | 350 |
| 12,157 | 39,023 | 16,928 | 1,942 | 350 |
| 39,023 | 41,522 | 41,156 | 1,441 | 350 |
| 41,522 | 50,365 | 44,267 | 1,349 | 350 |
| 50,397 | 65,139 | 55,552 | 1,127 | 350 |
| 65,141 | 74,281 | 70,893 | 0,733 | 350 |
| 74,334 | 85,226 | 80,782 | 0,472 | 350 |
| 85,255 | 93,570 | 89,528 | 0,264 | 349 |
Kurvan planar ut vid höga råpoäng, av ett skäl som ligger i rapporteringsordningen snarare än i modellen: i den ordning resultat faktiskt kommer in en valnatt ligger inget valområde någonsin långt före de andra, så råpoängen når aldrig upp mot sitt teoretiska tak. Kurvan är skattad över precis det intervall av råpoäng som faktiskt förekommer, och planar därför ut där den verkliga rapporteringsordningen slutar bidra med nya observationer att skatta emot.
Den kurva modellen faktiskt använder är isotoniserad ur mätpunkterna ovan (monoton per konstruktion, så att en högre konfidens aldrig kan svara mot ett sämre förväntat fel). Varje omkalibrering skattas från grunden mot facit och mot råpoängen, aldrig mot kurvans egen tidigare utsignal — annars skulle varje ny körning lägga sig ovanpå den föregående och gradvis komprimera skalan utan att något i modellen ändrats. Med i övrigt oförändrade förhållanden ger en omkalibrering därför samma kurva igen.