ROC AUC mittaa, miten hyvin ennustemalli asettaa toteutuvat ja toteutumattomat tapahtumat järjestykseen antamiensa pisteiden tai todennäköisyysarvioiden perusteella. Se ei kerro suoraan, ovatko ennustetut todennäköisyydet oikean suuruisia eikä sitä, kuinka paljon mallin avulla voisi ansaita. Otteluennusteiden arvioinnissa ROC AUC täydentää kalibrointia ja muita virhemittareita, mutta ei korvaa niitä.
Malli voi erottaa vahvemmat ja heikommat tapahtumat toisistaan kohtuullisen hyvin mutta antaa silti jokaiselle tulokselle liian suuren varmuuden. Näin sen tapahtumien järjestys voi olla hyödyllinen, vaikka ilmoitetut prosentit olisivat epäluotettavia. Tämä ero on tärkeä aina, kun ennusteita verrataan kertoimien edellyttämiin todennäköisyyksiin.
Mikä ROC-käyrä on?
ROC-käyrä kuvaa kahden vaihtoehdon luokittelumallin toimintaa eri päätösrajoilla. Vaakasuunnassa tarkastellaan väärien positiivisten osuutta ja pystysuunnassa oikein tunnistettujen positiivisten osuutta. Malli voi esimerkiksi antaa korkeampia todennäköisyyksiä otteluille, joissa tietty tapahtuma toteutuu, kuin niille, joissa se ei toteudu.
Scikit-learnin ROC AUC -dokumentaatio määrittelee mittarin ROC-käyrän alle jääväksi pinta-alaksi. Suurempi AUC kuvaa parempaa erottelukykyä samalla testiasetelmalla, mutta ei vielä kerro mallin ennusteprosenttien luotettavuudesta.
ROC-käyrä muodostuu useista mahdollisista päätösrajoista. Siksi se ei myöskään kerro, mikä yksittäinen vedonlyöntikohde tai päätösraja olisi järkevä valita ilman muuta arviointia.
Mitä AUC tarkoittaa käytännössä?
Yksinkertaisesti tulkittuna AUC kertoo, kuinka hyvin malli yleensä antaa suuremman ennustepisteen tapahtuman toteutuvalle havainnolle kuin toteutumattomalle. Tämä on järjestysmittari. Malli voi säilyttää saman AUC-arvon, vaikka sen ilmoittamien prosenttien asteikkoa muutettaisiin monotonisesti.
Tämän takia AUC ei yksin mittaa sitä, onko esimerkiksi 70 prosentin todennäköisyydeksi ilmoitetun tapahtumaryhmän toteutunut osuus lähellä 70 prosenttia. Se on kalibroinnin kysymys.
Ennusteiden kalibrointia ja Brier scorea käsittelevässä oppaassa kuvataan, miten ennustetut todennäköisyydet suhteutetaan toteutuneisiin tapahtumiin. ROC AUC vastaa eri kysymykseen: erotteleeko malli korkean ja matalan riskin tilanteita oikeassa järjestyksessä?
Miksi korkea AUC ei takaa käyttökelpoista kerroinarviota?
Vedonlyöntikertoimen arviointi edellyttää mielekästä arviota tapahtuman todellisesta todennäköisyydestä. Jos malli vain järjestää tapahtumat mutta sen prosentit ovat systemaattisesti liian suuria, prosentteihin perustuva vertailu kertoimeen vääristyy.
Mallin onnistunut järjestys voi olla yksi hyödyllinen ominaisuus, mutta se ei takaa, että mallin todennäköisyydet olisivat oikein kalibroituja tai että markkina tarjoaisi niiden perusteella edullisia kohteita. Erillinen kysymys on, kuinka ennustehetkellä tarjottu kerroin suhtautuu luotettavaan todennäköisyysarvioon.
Vedonlyönnin odotusarvon oppaassa selitetään, miksi kertoimen ja oman todennäköisyysarvion suhdetta ei voi päätellä pelkän osumaprosentin tai mallin sijoitusluvun perusteella.
ROC AUC ja epätasaiset tapahtumajakaumat
Kaikki ennustettavat tapahtumat eivät ole yhtä yleisiä. Jos tapahtuma toteutuu harvoin, mallin suorituskykyä pitää tarkastella myös väärien hälytysten määrän ja positiivisten ennusteiden käytännön merkityksen kautta. ROC AUC voi näyttää hyvältä tilanteessa, jossa todellisia positiivisia havaintoja on vain vähän.
Harvinaisia tapahtumia arvioitaessa precision-recall-käyrä voi tuoda olennaista lisätietoa: siinä tutkitaan positiivisten ennusteiden osuvuutta suhteessa löydettyihin positiivisiin tapauksiin. Scikit-learnin average precision -dokumentaatio kuvaa yhden tavan tiivistää precision-recall-tietoa.
Mittarin valinta riippuu siitä, mikä tapahtuma on analyysin kohteena. Tavallisen kotivoiton ennuste ja harvinainen poikkeustapahtuma voivat edellyttää eri painotuksia mittareiden tulkinnassa.
Voiko ROC AUC:ta käyttää 1X2-ennusteessa?
1X2-markkinassa on kolme luokkaa: kotivoitto, tasapeli ja vierasvoitto. ROC AUC:n moniluokkaiseen käyttöön on olemassa eri laskentatapoja, kuten yhden luokan vertaaminen muihin. Tällöin on kerrottava, miten usean luokan tulokset on yhdistetty.
Moniluokkaisen ROC AUC:n tulos ei ole sama asia kuin yksittäisen koti- tai vierasvoittotapahtuman kahden luokan AUC. Mittareita ei pidä verrata keskenään ilman, että luokkajako, painotus ja laskentatapa vastaavat toisiaan.
Lisäksi ottelun kolme todennäköisyysarviota muodostavat yhdessä jakauman. Kolmen erillisen kahden luokan mallin antamat prosentit eivät välttämättä summaudu järkevästi, ellei niitä ole johdonmukaisesti sovitettu yhteen.
Miksi testijakson aikajärjestys on tärkeä?
Ottelumallia ei kannata testata aineistolla, jonka tulevat tulokset ovat jo vaikuttaneet mallin muodostamiseen. Jos satunnaiseen jakoon päätyy samojen joukkueiden tulevia otteluita koulutukseen ja menneitä otteluita testiin, mallin AUC voi näyttää todellista paremmalta.
Vedonlyöntijärjestelmän testaamisen opas täydentää tätä käytännön näkökulmasta. Lopullinen arvio tarvitsee uuden testijakson, jota ei käytetty mallin parametrien tai päätösrajojen säätämiseen.
Havaintojen määrän lisäksi on kirjattava, millaisista otteluista testi koostuu. Jos vertailuaineisto sisältää eri sarjoja, pelitapoja ja muuttuneita kokoonpanoja, pelkkä yksi AUC-luku ei välttämättä kuvaa mallin käyttökelpoisuutta jokaisessa alaryhmässä.
Milloin ROC AUC on hyödyllinen?
Mittari soveltuu tilanteisiin, joissa halutaan vertailla mallien kykyä järjestää saman tapahtuman toteutumisen mahdollisuuksia. Se voi esimerkiksi auttaa selvittämään, erottavatko eri muuttujavalinnat tapahtumia paremmin toisistaan ilman, että vielä asetetaan lopullista päätösrajaa.
ROC AUC ei kuitenkaan yksin näytä, kuinka väärät ennusteet jakautuvat, mikä on mallin kalibrointi tai millainen tapahtumien taustajakauma on. Siksi sitä kannattaa käyttää yhdessä muiden tunnuslukujen kanssa eikä nostaa yhdeksi ainoaksi onnistumisen mittariksi.
Jos AUC muuttuu vain vähän testistä toiseen, eron merkittävyyttä ei voi päätellä pelkistä desimaaleista. Vertailuun pitää liittää otoskoko ja mahdollisuuksien mukaan epävarmuuden arviointi.
Tarkistuslista mallin AUC-raporttiin
- Määrittele ennustettava tapahtuma ja positiivinen luokka.
- Ilmoita testiaineiston ajanjakso ja havaintojen lukumäärä.
- Pidä koulutus ja testi erillään ajallisesti.
- Kerro, käytetäänkö kahden vai useamman luokan AUC-laskentaa.
- Vertaile vain samalla aineistolla arvioituja malleja.
- Raportoi myös kalibrointi tai todennäköisyysvirhe.
- Älä päättele AUC:sta suoraan mallin rahallista tuottoa.
Esimerkki kahdesta eri ennustemallista
Oletetaan, että kaksi mallia arvioi täsmälleen samoja otteluita. Ensimmäinen antaa toteutuville tapahtumille yleensä suuremman pistemäärän kuin toteutumattomille, mutta kaikki sen ilmoittamat todennäköisyydet ovat liian lähellä ääripäitä. Toinen antaa varovaisempia ja paremmin kalibroituja prosentteja, mutta sen tapahtumien keskinäinen järjestys on hieman heikompi. Ensimmäisellä voi olla parempi ROC AUC, vaikka toinen soveltuisi paremmin varsinaisten todennäköisyyksien raportointiin. Esimerkki on menetelmällinen eikä perustu julkaistuihin ottelutuloksiin. Se osoittaa, miksi erottelukyky ja kalibrointi pitää tarkistaa erillisinä ominaisuuksina.
Yhteenveto
ROC AUC kuvaa otteluennustemallin kykyä järjestää tapahtumat toteutumisen todennäköisyyden suhteen, ei sen ilmoittamien todennäköisyysprosenttien tarkkuutta. Hyvä raportointi erottaa erottelukyvyn, kalibroinnin ja varsinaisen vedonlyöntikertoimen arvioinnin toisistaan. Tämä 10.10.2026 laadittu opas käsittelee menetelmää eikä sisällä ajankohtaisia ottelutuloksia tai kertoimia.