Ennusteen kalibrointi kertoo, vastaavatko ilmoitetut todennäköisyydet tapahtumien toteutumista pitkällä aikavälillä. Jos malli antaa vertailukelpoisille tilanteille usein 70 prosentin todennäköisyyden, tapahtuman pitäisi toteutua tämän ryhmän havainnoista suunnilleen 70 prosentissa, kun otos kasvaa. Brier score mittaa ennustettujen todennäköisyyksien ja toteutuneiden tapahtumien eroa. Se on yksi tapa arvioida vedonlyöntianalyysin ennustemenetelmää, mutta yksittäinen pisteluku ei vielä osoita mallin olevan hyvin kalibroitu tai kannattava.
Kalibrointi on eri asia kuin osumatarkkuus. Malli voi tunnistaa suosikin oikein usein mutta ilmoittaa sen mahdollisuudet systemaattisesti liian suurina. Toisaalta hyvin kalibroitu malli voi epäonnistua yksittäisissä otteluissa, koska todennäköinenkään tapahtuma ei ole varma. Ennusteen laatua kannattaa siksi arvioida ennen kaikkea ilmoitetun todennäköisyyden, havaintomäärän ja riippumattoman testiaineiston kautta.
Mitä todennäköisyysennusteen kalibrointi tarkoittaa?
Kalibroitu ennuste vastaa usein kysymykseen: kuinka usein tapahtuma toteutuu silloin, kun malli arvioi sen mahdollisuudeksi tietyn todennäköisyystason? Scikit-learnin virallinen kalibrointiopas kuvaa hyvin kalibroidun luokittelumallin siten, että esimerkiksi noin 0,8 todennäköisyyden saaneista vertailukelpoisista havainnoista suunnilleen 80 prosenttia kuuluu ennustettuun luokkaan.
Jalkapallon 1X2-ennusteessa vaihtoehdot ovat kotivoitto, tasapeli ja vierasvoitto. Kunkin ottelun kolme todennäköisyysarviota muodostavat jakauman, jonka summa on 100 prosenttia. Malli ei saa ilmoittaa jokaiselle kolmelle vaihtoehdolle lähes varmaa toteutumista. Myös maalirajan ylitykselle, molempien joukkueiden maalille ja muille kahden vaihtoehdon tapahtumille voidaan arvioida oma todennäköisyytensä.
Kalibrointi ei tarkoita sitä, että jokainen yksittäinen arvio osuisi. Jos tapahtuman todennäköisyys on 60 prosenttia, toteutumatta jääminen on täysin mahdollinen tulos eikä automaattinen todiste virheestä. Todellinen ongelma selviää vasta, jos samanlaisten arvioiden joukossa toteutumiset poikkeavat järjestelmällisesti ilmoitetuista tasoista.
Mikä Brier score on?
Brier score on todennäköisyysennusteen virhemittari. Kahden vaihtoehdon tapahtumassa sen perusmuoto on ennustetun todennäköisyyden ja toteuman erotuksen neliöiden keskiarvo. Toteuma merkitään arvolla 1, jos tarkasteltu tapahtuma toteutuu, ja arvolla 0, jos ei toteudu. Scikit-learnin Brier score -dokumentaatio kuvaa menetelmän neliövirheisiin perustuvana tappiofunktiona, jonka pienempi arvo tarkoittaa vähemmän virhettä samalla vertailuasetelmalla.
Kahden vaihtoehdon kaava: Brier = ennusteiden keskiarvo arvosta (p − y)², missä p on arvioitu todennäköisyys desimaalina ja y toteuman 0 tai 1. Laskenta ei käytä vedonlyöntikertoimia eikä rahallista tulosta. Tarkastelun kohteena on ennusteen numeerinen osuvuus.
Laskuesimerkki ilman oikeaa ottelua
Oletetaan puhtaasti laskennan havainnollistamiseksi, että ennuste antaa tapahtumalle todennäköisyyden 0,70. Jos tapahtuma toteutuu, yksittäisen havainnon neliövirhe on (0,70 − 1)² = 0,09. Jos tapahtuma jää toteutumatta, virhe on (0,70 − 0)² = 0,49. Nämä ovat keksityn matematiikkaesimerkin laskutuloksia, eivät julkaistuja ottelutuloksia, mallin toteutunutta osumatarkkuutta tai vedonlyöntitilastoja.
Keskiarvo lasketaan koko ennalta määritellystä testijoukosta. Silloin myös epäonnistuneet ennusteet pysyvät mukana. Jos analyytikko valitsee jälkikäteen vain onnistuneet ottelut, Brier score kuvaa valikoitua näytettä eikä mallin yleistä ennustuskykyä.
Brier score ja 1X2-ennuste – sama periaate, eri laskenta
Jalkapallon 1X2-ennuste sisältää kolme toisensa poissulkevaa vaihtoehtoa. Moniluokkaisessa Brier-mittarissa lasketaan kullekin vaihtoehdolle ennusteen ja toteuman erotuksen neliö, ja virheet yhdistetään sovitun määritelmän mukaan. Toteutunut vaihtoehto saa arvon 1 ja kaksi muuta arvon 0.
Tärkeää on ilmoittaa, mitä pisteytyskäytäntöä käytetään. Kolmen luokan pistemäärä voidaan raportoida esimerkiksi luokkien neliövirheiden summana tai eri tavoin skaalattuna. Sen vuoksi kahden vaihtoehdon Brier-lukua ja 1X2-ennusteen Brier-lukua ei pidä vertailla suoraan, jos käytetty kaava tai skaala ei ole sama.
Kun vertaat ennustemenetelmiä, pidä ottelujoukko, vaihtoehtojen määritelmä, raportointitapa ja testiaikaväli samoina. Muuten ero lukemissa voi johtua muuttuneesta mittarista eikä parantuneesta analyysistä.
Kalibrointikäyrä paljastaa yli- ja alivarovaisuuden
Scikit-learnin calibration_curve-ohje kuvaa, miten ennusteet voidaan ryhmitellä todennäköisyystason mukaan ja verrata ryhmän keskimääräistä ennustetta toteutuneeseen osuuteen. Tätä kuvaajaa kutsutaan kalibrointikäyräksi tai reliability diagramiksi.
Jos korkean varmuuden ennusteet toteutuvat harvemmin kuin niiden antama varmuus edellyttäisi, malli voi olla liian itsevarma. Jos taas toteuma on systemaattisesti suurempi kuin ilmoitettu todennäköisyys, ennusteet voivat olla liian varovaisia. Päätelmä vaatii kuitenkin riittävästi havaintoja: pienessä ryhmässä yksittäiset ottelut vaikuttavat paljon toteutuneeseen osuuteen.
Ryhmien leveys ja havaintomäärä vaikuttavat käyrän muotoon. Siksi kannattaa näyttää sekä havaintomäärä että käytetty luokkajako. Tasalevyiset prosenttiryhmät ja tasamääräisiin ryhmiin jaettu aineisto vastaavat hieman eri kysymyksiin.
Miksi pieni Brier score ei tarkoita automaattisesti hyvää kalibrointia?
Brier score huomioi samanaikaisesti kalibroinnin, eri tilanteiden erottelukyvyn ja tapahtumien taustajakauman vaikutuksia. Scikit-learnin kalibrointiopas korostaa, ettei pienempi kokonaisvirhe yksin todista mallin kalibroinnin parantuneen. Mittari on hyödyllinen kokonaispisteytys, mutta pelkän arvon perusteella ei tiedetä, mikä ominaisuus muutoksen selittää.
Esimerkiksi malli voi arvioida usein toistuvan tapahtuman kohtuullisesti, mutta olla heikko tunnistamaan tilanteita, joissa vastustaja muuttaa tapahtuman todennäköisyyttä huomattavasti. Tällainen malli voi pärjätä kokonaismittarissa yllättävän hyvin mutta tarjota analyytikolle vähän lisätietoa yksittäisten otteluiden eroista.
Vertailuun tarvitaan lähtötaso: miten yksinkertainen vertailumalli olisi suoriutunut samalla aineistolla? Vasta sen jälkeen voidaan kysyä, antaako monimutkaisempi malli aidosti lisää informaatiota.
Miten kalibrointi liittyy vedonlyönnin odotusarvoon?
Vedonlyönnissä todennäköisyysarvioa voidaan verrata tarjotun kertoimen edellyttämään rajatodennäköisyyteen. Jos arvio on systemaattisesti liian itsevarma, myös odotusarvo näyttää helposti liian hyvältä. Tämä on yksi syy pitää ennusteen kalibrointitesti ja varsinainen pelivalinta erillisinä vaiheina.
Hyvin kalibroitu ennuste ei kuitenkaan takaa hyvää kohdevalintaa. Vedon mahdolliseen odotusarvoon vaikuttaa myös tarjottu kerroin ja sen suhde todelliseen todennäköisyyteen. Sivuston vedonlyönnin odotusarvoa käsittelevä opas avaa tätä eroa laskentaperiaatteiden kautta ilman, että ennustepisteitä pidetään rahallisen onnistumisen takeena.
Otoskoko, aineistovuoto ja muuttuvat joukkueet
Otteludata ei ole identtisten kolikonheittojen sarja. Joukkueet vaihtavat pelaajia, valmentajia ja pelitapoja. Myös kilpailun taso sekä koti- ja vierasotteluiden jakautuminen muuttuvat. Tästä syystä ennustemallin testitulosta pitää tarkastella ajanjaksoittain sekä suhteessa siihen, millaisista otteluista aineisto on koottu.
Otoskokoa ja varianssia käsittelevässä artikkelissa selitetään, miksi lyhyt onnistumisjakso ei riitä näyttämään menetelmää luotettavaksi. Samat ongelmat koskevat kalibrointia: sattuman vaikutus on suuri pienessä otoksessa, ja samaan otteluun liittyvät havainnot eivät välttämättä ole riippumattomia.
Erillinen vaara on aineistovuoto. Jos ottelun lopputulos tai sen jälkeen syntynyt tieto päätyy mallin syötteisiin ennen ennusteen arviointia, testitulos voi näyttää todellista paremmalta. Myös kalibroinnin säätäminen samoilla havainnoilla, joilla se arvioidaan, voi johtaa liian optimistisiin lukuihin.
Näin testaat ennusteiden kalibroinnin käytännössä
- Määritä ennustettava tapahtuma. Erottele esimerkiksi 1X2-markkina ja kahden vaihtoehdon maalimääräkohde.
- Tallenna ennuste ennen ottelua. Kirjaa arvioitu todennäköisyys, aikaleima ja käytetty aineisto.
- Säilytä koko ennustejoukko. Myös väärin menneet ottelut on pidettävä mukana.
- Erota mallin rakentaminen, kalibrointi ja lopullinen testi. Ajallisesti myöhempi, aiemmin näkemätön aineisto on hyvä käytännön tarkistus.
- Laske Brier score samoilla määritelmillä. Ilmoita myös vertailumallin tulos ja mittarin skaala.
- Piirrä kalibrointikäyrä. Näytä ryhmien havaintomäärät, älä vain keskimääräisiä prosentteja.
- Tutki poikkeamat. Jos malli epäonnistuu jossakin sarjassa tai aikajaksossa, selvitä mahdolliset syyt ennen korjauksia.
Vedonlyöntijärjestelmän testaamista käsittelevä artikkeli täydentää tätä käytännön näkökulmasta. Olennaista on, että ennusteiden arviointitapa päätetään ennakkoon: silloin mittaria ei voi vaihtaa jälkikäteen sen mukaan, mikä näyttää lupaavimmalta.
Yhteenveto
Kalibrointi kertoo, vastaavatko ennusteiden ilmoittamat todennäköisyydet toteutuneita osuuksia riittävän laajassa aineistossa. Brier score puolestaan tiivistää ennustevirheen yhdeksi luvuksi, joka huomioi muutakin kuin kalibroinnin. Hyvä analyysi raportoi mittarin määritelmän, aineiston koon, vertailutason ja kalibrointikäyrän. Tämä 10.10.2026 laadittu menetelmäopas ei sisällä ajankohtaisia otteluvihjeitä, kertoimia tai toteutuneiksi väitettyjä tuloksia.