Vedonlyöntimallin hyvä tulos vanhoissa otteluissa ei vielä osoita, että malli ennustaisi uusia otteluita hyvin. Jos samaa aineistoa käytetään mallin rakentamiseen, parametrien säätämiseen ja onnistumisen mittaamiseen, tulos voi näyttää todellisuutta paremmalta. Ilmiötä kutsutaan ylisovitukseksi eli overfittingiksi. Se on yksi tavallisimmista syistä siihen, miksi vakuuttavalta näyttävä vedonlyöntistrategian historiallinen tuottokäyrä ei toistu käytännössä.
Luotettavassa arvioinnissa ennusteen pitää käyttää vain sellaista tietoa, joka oli aidosti käytettävissä ennen ottelun alkua tai vedon asettamista. Mallin lopullinen toimivuus selvitetään erillisestä, aiemmin käyttämättömästä testiaineistosta. Historiallista tulosta ei pidä kutsua aidoksi tulevan ajan testiksi, jos mallia on muokattu juuri kyseisten ottelujen perusteella.
Mitä ylisovitus tarkoittaa vedonlyönnissä?
Ylisovitus syntyy, kun ennustemalli oppii ottelutulosten taustalla olevien pysyvämpien piirteiden lisäksi satunnaista kohinaa. Jos se käyttää kymmeniä pieniä sääntöjä, se voi selittää vanhat ottelut näyttävästi mutta reagoida uusiin vastustajiin tai kokoonpanoihin väärin.
Esimerkiksi malliin voidaan lisätä sääntöjä siitä, että tietyn sarjan kotijoukkueet voittavat useammin tiettyinä viikonpäivinä tai että jonkin joukkueen kolmas perättäinen vierasottelu tuottaa yleensä vähämaalisuuden. Yksittäiset havainnot voivat olla sattumaa. Jos sääntö lisätään vain siksi, että se paransi jo nähtyä tulosta, mallin todellinen ennustearvo jää epäselväksi.
Scikit-learnin ristiinvalidointia käsittelevä dokumentaatio muistuttaa, ettei mallin ennustekykyä pidä arvioida samalla aineistolla, jonka perusteella se on opetettu. Sama periaate pätee vedonlyöntimalliin riippumatta siitä, käytetäänkö koneoppimista vai käsin laskettuja todennäköisyyksiä.
Harjoitus-, validointi- ja testiaineisto eroavat toisistaan
Harjoitusaineisto rakentaa mallin
Harjoitusvaiheessa voidaan arvioida joukkueiden hyökkäys- ja puolustusvoimaa, kotietua sekä muita tekijöitä. Tässä vaiheessa mallin parametreja saa muuttaa ja havaita, miten ne vaikuttavat ennusteen tuloksiin. Harjoitusaineisto ei ole riippumaton todiste tulevasta ennustekyvystä.
Validointiaineisto auttaa valitsemaan mallin
Erillisessä validoinnissa verrataan esimerkiksi eri parametrivalintoja. Jos käytössä on viisi erilaista kotietumallia, niiden tuloksia voidaan verrata aiemmin rajattuun validointijaksoon. Jos myös tätä jaksoa tutkitaan kerta toisensa jälkeen ja sääntöjä säädetään sen mukaan, ylisovituksen riski ulottuu validointiin.
Testiaineisto käytetään vasta lopuksi
Testiaineiston pitäisi jäädä syrjään siihen asti, että mallin rakenne ja arviointitapa ovat valmiit. Jos testitulokset tulevat huonoiksi, mallia voi toki kehittää lisää, mutta samaa testijaksoa ei pidä enää esittää uutena riippumattomana testinä. Se on silloin jo vaikuttanut kehityspäätöksiin.
Esimerkki: 1 000 vanhaa ottelua ja liian hyvä tulos
Kuvitellaan analyytikko, jolla on 1 000 historiallista ottelua. Hän jakaa aineiston ajallisesti niin, että 600 ensimmäistä ottelua on harjoittelua, 200 seuraavaa validointia ja viimeiset 200 täysin erillistä testausta. Malli osuu harjoittelussa poikkeuksellisen hyvin mutta menettää etunsa viimeisissä 200 ottelussa.
Yksi mahdollinen selitys on, että malli on oppinut harjoitusjakson satunnaisia piirteitä. Toinen on, että sarjan joukkueiden taso tai pelitapa on muuttunut. Eroa ei ratkaista automaattisesti lisäämällä testijakson otteluita harjoitusaineistoon ja kutsumalla seuraavaa laskua edelleen riippumattomaksi testiksi.
Jos esimerkiksi 200 ottelun osumatarkkuus on 55 prosenttia, jo pieni määrä erilaisia tuloksia voi muuttaa prosenttilukua tuntuvasti. Siksi otoskoon ja varianssin vaikutusta käsittelevä artikkeli on tärkeä osa mallin arviointia. Osumatarkkuutta ei myöskään pidä rinnastaa suoraan taloudelliseen tuottoon, koska kertoimet vaihtelevat.
Miksi aikajärjestys on vedonlyönnissä tärkeä?
Otteludata ei ole tavallinen satunnaisten havaintojen kokoelma. Joukkueen tuleva kokoonpano, loukkaantumiset, valmentajan vaihdos ja ottelun lopputulos eivät ole tiedossa ennustetta tehtäessä. Jos tulevaa tietoa päätyy mallin laskentaan, historiallinen testi on epärealistinen.
Scikit-learnin aikasarjatestausta koskeva esimerkki
Mitä tietovuoto tarkoittaa?
Tietovuoto eli data leakage syntyy, jos mallin rakentamiseen päätyy tietoa, jota ei olisi ollut saatavilla juuri sillä hetkellä, jolloin ennuste olisi pitänyt tehdä. Esimerkiksi koko kauden lopullista sarjataulukkoa ei saa käyttää syyskauden alkuotteluiden ennustamiseen ikään kuin myöhemmät tulokset olisivat jo tiedossa.
Toinen esimerkki on pelaajan ottelukohtaisten tilastojen koko kauden keskiarvo, johon sisältyvät myös ennustepäivän jälkeiset pelit. Jos nämä arvot käytetään vanhojen otteluiden ennustamisessa, malli hyödyntää epäreilusti tulevaa tietoa. Scikit-learnin yleisiä tietovuotovirheitä käsittelevä dokumentaatio
Voiko malli olla hyvä, vaikka se ei tuota voittoa?
Voi. Malli voi arvioida ottelutapahtumien todennäköisyyksiä tarkasti mutta silti antaa vain sellaisia vetoja, joiden kertoimiin on jo hinnoiteltu sama tieto. Toisaalta joissakin otoksissa voi syntyä rahallista voittoa sattumalta, vaikka todennäköisyysarviot olisivat heikkoja. Mallin kalibrointia ja kertoimien vertailua ei siksi pidä käsitellä samana mittarina.
Ennusteiden kalibrointia käsittelevä opasodotusarvon laskentaopas
Kuusi tarkistusta ennen mallin tulosten julkaisemista
- Kirjaa tiedon aikaleima. Ennusteessa saa käyttää vain jo saatavilla olleita tietoja.
- Erota harjoitus ja testi. Älä arvioi lopullista suorituskykyä samoilla otteluilla, joilla sääntöjä kehitettiin.
- Älä optimoi testitulosta. Mallin jatkuva säätäminen viimeiseen testijaksoon rikkoo sen riippumattomuuden.
- Huomioi pelimarkkinan muutokset. Kertoimien, joukkueiden ja sarjarakenteen muuttuminen voi vaikuttaa ennusteen toimivuuteen.
- Mittaa useampaa asiaa. Tarkastele osumatarkkuuden lisäksi todennäköisyysarvioiden kalibrointia ja epävarmuutta.
- Kerro rajoitukset avoimesti. Testin pituus, pelattujen kohteiden valintatapa ja mahdollinen aineiston puute kuuluvat tulosten yhteyteen.
Miten etenet, jos tulos näyttää liian hyvältä?
Tarkista ensimmäiseksi mahdollinen tietovuoto: onko käytetty aikaisempien ottelujen ennustamiseen esimerkiksi vasta myöhemmin julkaistuja pelaajatietoja tai ottelun jälkeisiä kertoimia? Selvitä myös, onko testijaksolle valittu vain ne ottelut, joilla malli sattui onnistumaan. Valikoidun otoksen perusteella ei voi todentaa koko strategian suorituskykyä.
Jos kaikki nämä on tarkistettu, uusi etukäteen määritelty testijakso antaa arvokkaampaa tietoa kuin vanhan jakson lisäoptimointi. Silloinkaan yksikään tilastollinen testi ei takaa tulevia vedonlyöntivoittoja.
Yhteenveto
Vedonlyöntimallin ylisovituksen estää ensisijaisesti rehellinen testaus, ei matemaattisesti näyttävä kaava. Erota koulutus, validointi ja riippumaton testi, säilytä otteluiden aikajärjestys ja varmista, ettei tuleva tieto pääse ennusteeseen. Historiallinen tuotto ei yksin todista mallin toimivuutta.