Vedonlyöntimallin ilmoittama esimerkiksi 55 prosentin voittotodennäköisyys on arvio, ei tapahtuman varma ominaisuus. Arvion epävarmuus riippuu mallista, aineiston määrästä, sen laadusta ja siitä, miten tuleva ottelu poikkeaa aiemmista havainnoista.
Piste-ennuste ja epävarmuus eivät ole sama
Piste-ennuste antaa yhden numeron, kuten voittotodennäköisyyden tai ottelun odotetun maalimäärän. Epävarmuuden kuvaus kertoo, kuinka paljon luottamusta arvioon voidaan järkevästi liittää. Jos mallissa on vain vähän vastaavia havaintoja, piste-ennuste voi näyttää tarkalta mutta olla epävakaa. Älä ilmoita todennäköisyyttä monella desimaalilla vain siksi, että laskin antaa niitä. Käytännössä on tärkeämpää ymmärtää, mikä osa epävarmuudesta liittyy puutteelliseen aineistoon ja mikä ottelun aidosti satunnaiseen lopputulokseen.
Luottamusväli kuvaa arviointimenetelmän epävarmuutta
Tilastollinen luottamusväli perustuu tiettyyn malliin ja oletuksiin. Sitä ei tule tulkita automaattisesti niin, että yksittäisen ottelun voittotulos sijoittuisi todennäköisyyksien välille. Luottamusväli kertoo usein estimoidun parametrin epävarmuudesta toistettavassa tilastollisessa menettelyssä. Vedonlyönnissä kohteena voi olla esimerkiksi maalimallin parametrin arvio. NISTin tilastokäsikirja käsittelee tällaisia menetelmiä ja niiden oletuksia. Pelkkä välin piirtäminen ei takaa, että käytetyn datan riippuvuudet tai valikoituminen olisi huomioitu.
Ennusteväli koskee usein tulevaa määrällistä havaintoa
Kun ennustetaan esimerkiksi joukkueen tulevaa maalimäärää, voidaan mallin oletuksista riippuen muodostaa tulevaa havaintoa kuvaava ennusteväli. Se ei kuitenkaan ole sama asia kuin voittotodennäköisyyden luottamusväli. Maalimäärä on lukumääräinen tapahtuma, kun taas voittotulos on erillinen kategorinen tapahtuma. Näiden esittäminen samassa taulukossa edellyttää selkeää selitystä. Poisson-mallin oppaassa käydään läpi, miten lukumääräjakaumasta voidaan johtaa ottelutapahtumien arvioita. Mallin yksinkertaisuus ei poista epävarmuutta.
Kalibrointi on eri asia kuin ennusteväli
Malli voi antaa terävän eli kapealta näyttävän arvion mutta olla pitkällä aikavälillä huonosti kalibroitu. Jos tapahtumia, joille ennustetaan 60 prosentin todennäköisyyttä, toteutuu selvästi eri osuudella toistuvasti, mallin kalibroinnissa voi olla puutteita. Scikit-learnin virallinen kalibrointidokumentaatio selittää todennäköisyysennusteiden arviointia. Kalibrointi ei yksin kerro, että malli olisi vedonlyönnissä tuottava: kertoimien marginaali ja päätöksentekosäännöt pitää arvioida erikseen. Ennusteväliä ei pidä käyttää väärän kalibroinnin peittämiseen.
Otoskoko ja datan riippuvuus
Saman joukkueen ottelut eivät välttämättä ole toisistaan riippumattomia, ja esimerkiksi useat kaudet voivat erota pelityyliltään. Jos epävarmuutta lasketaan olettaen kaikki havainnot riippumattomiksi, väli voi olla liian optimistinen. Tarkista, millä tavalla aikasarjaa ja saman joukkueen toistuvia otteluita käsitellään. Älä esitä mallin epävarmuutta luotettavana vain siksi, että simuloituja otteluita on ajettu suuri määrä. Simulaation lukumäärä ja alkuperäisten havaintojen informaatioarvo ovat eri asioita.
Kuvitteellinen esimerkki 1X2-ennusteesta
Malli antaa kuvitteelliselle ottelulle koti-, tasapeli- ja vierasvoiton todennäköisyydet. Joidenkin parametrien epävarmuus voi muuttaa jakaumaa, mutta kolmen vaihtoehdon todennäköisyyksien pitää muodostaa johdonmukainen kokonaisuus. Jos kotiottelun voittotodennäköisyydelle piirretään väli, se ei tarkoita, että muiden vaihtoehtojen arviot voisi pitää muuttumattomina ilman laskennallista perustetta. Esimerkki ei sisällä oikean ottelun ennustetta eikä kerrointa. Tarkoitus on osoittaa, että epävarmuus kulkee usein koko mallijakauman mukana.
Takautuva testaus tarvitaan myös epävarmuudelle
Ennusteiden laadun tarkastuksessa on tärkeää varmistaa, että tulevien otteluiden tietoja ei vahingossa päädy mallin aiempaan koulutukseen. Pelkkä hyvä historiallinen piste-ennuste ei todista epävarmuusvälin toimivuutta uudessa aineistossa. Testaa, kuinka usein tulevat toteutuneet havainnot sopivat ennustemallin ennakoimiin jakaumiin, sekä dokumentoi poikkeamat. Älä muokkaa välin leveysparametria vasta testiaineiston tulosten näkemisen jälkeen ja esitä sitä riippumattomana tuloksena. Erottelu kehitys- ja testiaineiston välillä on olennainen.
Miten tulos näytetään lukijalle?
Näytä piste-ennusteen lisäksi lyhyt selitys menetelmästä, käytetystä datasta, epävarmuuden määritelmästä ja rajauksista. Erottele tilastollinen luottamusväli mahdollisesta simulaatioiden jakaumasta. Älä käytä ilmausta ’varma’ vain siksi, että mallin arvio on korkea. Kalibrointia käsittelevä opas antaa vertailukohdan pitkän aikavälin todennäköisyyksien luotettavuudelle. Ennusteen epävarmuuden näyttäminen auttaa tekemään harkitumpia johtopäätöksiä mutta ei poista sattuman vaikutusta.