Vedonlyöntimallin backtesting tarkoittaa ennustemenetelmän testaamista aikaisemmilla otteluilla ikään kuin ennusteet olisi tehty ennen jokaista ottelua. Testin suurin virhe on tietovuoto: malliin päätyy tietoa, jota otteluhetkellä ei ollut vielä saatavilla. Tällöin historian tulokset voivat näyttää vakuuttavilta, vaikka mallilla ei olisi todellista ennustearvoa tuleviin tapahtumiin.
Takautuva testaus on hyödyllistä vasta, kun ottelujen aikajärjestys ja tiedon saatavuus on dokumentoitu. Pelkkä taulukko, jossa historiaan sovitettu malli näyttää suuren osumaprosentin, ei todista vedonlyöntimenetelmän toimivan käytännössä.
Mikä on backtesting vedonlyönnissä?
Backtestingissä mallille annetaan historiallisia ottelutietoja ja sen arvioita verrataan toteutuneisiin tuloksiin. Tavoitteena on jäljitellä tilannetta, jossa ennusteen tekohetkellä käytettävissä oli vain sitä vanhempia tietoja.
Esimerkiksi jalkapallon ottelupäivänä 1.9. malliin voidaan sisällyttää joukkueiden sitä ennen pelatut ottelut, aiemmin vahvistetut kokoonpanot ja kyseisellä hetkellä saatavilla olleet kertoimet. Ei ole hyväksyttävää lisätä mukaan saman ottelun lopputulosta tai jälkikäteen päivitettyä tilastoa ja sanoa sitä aidoksi ennusteeksi.
Kolme tapaa, joilla tuleva tieto vuotaa malliin
Ottelun jälkeinen tilasto
Jos ennusteessa käytetään joukkueen koko kauden maalimäärää, siihen sisältyy helposti myös myöhemmin pelattuja otteluita. Tällöin esimerkiksi tammikuun peliä arvioidaan tiedolla, jota joukkue ei ollut vielä maaliskuussa tuottanut.
Kertoimet väärästä ajankohdasta
Jos malli ilmoittaa ennustaneensa ottelua vuorokautta ennen aloitusta mutta vertailuun käytetään vasta pelin alkaessa saatua kerrointa, testi ei kuvaa alkuperäistä päätöksentekotilannetta. Markkinahinta voi muuttua olennaisesti pelaajauutisten ja muiden tietojen seurauksena.
Harjoitus- ja testidatan sekoittuminen
Jos samoja otteluita käytetään sekä mallin rakentamiseen että sen lopulliseen arviointiin, mittari voi palkita historian ulkoa opettelun. Erityinen riski syntyy, kun mallin asetuksia säädetään yhä uudelleen saman testijakson tuloksen perusteella.
Miksi satunnainen datan jako ei sovi aina urheiluun?
Urheilutapahtumat ovat aikajärjestyksessä. Satunnainen harjoitus- ja testijako voi siirtää kauden myöhempiä otteluita aiemman ottelun ennusteen perustaksi. Scikit-learnin virallinen TimeSeriesSplit-dokumentaatio esittelee ajallisen jaon, jossa mallia koulutetaan varhaisemmilla havainnoilla ja testataan myöhemmillä.
Saman projektin tietovuotoa käsittelevä ohje kuvaa, miksi esikäsittely ja muuttujien valinta pitää tehdä harjoitusdatan sisällä. Nämä ovat yleisiä tilastollisen mallinnuksen periaatteita, eivät vedonlyöntivoittoja takaavia reseptejä.
Esimerkki: neljä testijaksoa yhden sijaan
Kuvitellaan aineisto, jossa on neljä peräkkäistä kautta. Malli rakennetaan ensin ensimmäisen kauden tiedoilla ja testataan toisella. Sen jälkeen mallia päivitetään kahden ensimmäisen kauden perusteella ja arvioidaan kolmatta. Viimeisessä vaiheessa kolmen ensimmäisen kauden tieto toimii neljännen kauden ennusteiden perustana.
Tällä tavoin yksikään testijakso ei lainaa myöhemmän kauden lopputulosta ennusteensa tekemiseen. Samalla nähdään, muuttuuko menetelmän osumatarkkuus ja ennusteiden kalibrointi eri kausien välillä. Jos tulos heikkenee nopeasti, se voi kertoa liian tiukasta sovituksesta tai muuttuneesta kilpailuympäristöstä.
Millä mittareilla testiä arvioidaan?
Pelkkä oikein–väärin-osumaprosentti ei ole riittävä, koska 80 prosentin suosikkia ja 20 prosentin altavastaajaa ei voi verrata samanlaisina päätöksinä. Todennäköisyysennusteiden arviointiin voidaan käyttää esimerkiksi Brier scorea ja tarkastella, ovatko mallin ilmoittamat prosentit pitkällä aikavälillä kalibroituneita.
Sivuston Brier score -oppaassa selitetään laskentaa. Toisaalta vedonlyönnin taloudelliseen tulokseen vaikuttavat markkinahinnat ja panostus, joten hyvä todennäköisyysennuste ei yksin takaa tuottoa. Tästä on lisää odotusarvoa käsittelevässä oppaassa.
Mitä otoskoko kertoo?
Kuvitellaan, että malli teki 50 ennustetta ja tulokset näyttivät hyville. Samasta mallista 5 000 ennusteen aineisto voi antaa hyvin toisenlaisen kuvan. Satunnaisvaihtelu voi selittää lyhyen hyvän jakson ilman, että ennustemenetelmässä on pysyvää etua.
Otoskoon ja vaihtelun tulkintaa täydentää varianssin ja otoskoon opas. Backtestissä on myös vältettävä jälkikäteistä parhaiden jaksojen poimintaa: huonojen kausien poistaminen voi tuottaa perusteettoman optimistisen tuloksen.
Kuinka rakennat toistettavan testin?
- Määrittele ennusteen tekohetki. Kirjaa, kuinka kauan ennen ottelua arvio muodostetaan.
- Tallenna tiedon aikaleimat. Älä käytä ottelun jälkeen päivittyneitä tietoja.
- Erota harjoitus- ja testijaksot. Testin pitää tapahtua myöhemmällä aineistolla.
- Kirjaa kaikki ennusteet. Älä poista epäonnistuneita ennusteita jälkikäteen.
- Arvioi kalibrointi ja vaihtelu. Tarkastele myös epävarmuutta eikä vain keskimääräistä tulosta.
- Vertaa ennusteita markkinaan oikealla aikaleimalla. Hintatiedon pitää vastata sitä hetkeä, jolloin päätös olisi tehty.
Yhteenveto: onnistunut backtesting kuvaa mallin toimintaa ennen ottelua käytettävissä olleilla tiedoilla. Jos tulevaa tietoa vuotaa historiaan, tulos kertoo enemmän testausvirheestä kuin ennustekyvystä. Aidosti hyödyllinen malli pitää arvioida erillisillä aikajaksoilla ja dokumentoiduin oletuksin.