Log loss mittaa todennäköisyysennusteiden virhettä ja rankaisee erittäin itsevarmoista vääristä arvioista voimakkaasti. Se on hyödyllinen tapa testata, miten johdonmukaisesti vedonlyöntimalli ilmoittaa ottelutapahtumien todennäköisyydet. Log loss ei kuitenkaan kerro suoraan mallin rahallisesta tuotosta eikä siitä, kuinka moni ottelu meni oikein. Pieni arvo kertoo pienestä ennustevirheestä samalla vertailuaineistolla ja samalla laskentatavalla.
Hyvän arviointimenetelmän pitää erottaa toisistaan todennäköisyys ja varma tulos. Vaikka tapahtuman toteutumista pidettäisiin hyvin todennäköisenä, se voi jäädä toteutumatta. Log loss tekee liian itsevarmuuden kustannuksen näkyväksi, koska lähes varmaksi väitetty väärä tapahtuma tuottaa paljon suuremman virheen kuin varovaisempi väärä arvio.
Mitä log loss tarkoittaa?
Scikit-learnin virallinen log loss -dokumentaatio esittää mittarin logistisena häviöfunktiona eli ristientropiana. Kahden vaihtoehdon ennusteessa yksittäisen tapahtuman virhe voidaan kirjoittaa muodossa −[y log(p) + (1−y) log(1−p)], jossa y on toteuma, joka saa arvon 0 tai 1, ja p on tapahtumalle ennen ottelua annettu todennäköisyys.
Tavallisessa muodossa käytetään luonnollista logaritmia. Kun tarkastellaan useita ennusteita, virheistä lasketaan keskiarvo. Mittarin pienempi arvo tarkoittaa samalla ennustejoukolla parempaa numeerista ennusteosuvuutta.
Log loss voi olla vaikea hahmottaa ilman todennäköisyysajattelua. Sen suurin hyöty ei ole yksittäisen luvun ulkoa muistaminen vaan se, että menetelmä kohtelee erittäin epäuskottavaksi ilmoitettua mutta toteutunutta tapahtumaa erityisen vakavana ennustevirheenä.
Miksi liian varma väärä ennuste on ongelma?
Jos malli ilmoittaa tapahtuman lähes varmaksi, se väittää samalla vaihtoehtoisen lopputuloksen olevan erittäin epätodennäköinen. Jos vaihtoehto toteutuu, tämä kertoo ennusteen varmuuden olleen kyseisessä havainnossa väärässä. Log loss rankaisee tällaisesta voimakkaammin kuin samasta väärästä tuloksesta, jonka malli oli jo arvioinut mahdolliseksi.
Tämä on tärkeä ero pelkän osumaprosentin laskemiseen. Osumaprosentti voi käsitellä kahta väärää ennustetta samantasoisina, vaikka toinen olisi ollut rehellisen epävarma ja toinen lähes varmaksi väitetty. Log loss ottaa ennusteen ilmoitetun varmuuden huomioon.
Mittaria ei pidä kuitenkaan tulkita niin, että jokainen korkean varmuuden väärä ennuste todistaisi mallin käyttökelvottomaksi. Ongelma tulee näkyviin vasta, kun arvioidaan koko testijaksoa ja verrataan tulosta asianmukaiseen vertailumalliin.
Log loss ja Brier score – mikä niiden ero on?
Molemmat mittarit arvioivat todennäköisyysennusteita mutta käsittelevät virheitä eri tavalla. Brier score perustuu ennusteen ja toteuman erotuksen neliöön. Log loss käyttää logaritmia ja reagoi erityisen voimakkaasti tilanteisiin, joissa malli antaa toteutuneelle vaihtoehdolle lähes nollan todennäköisyyden.
Brier scorea ja ennusteiden kalibrointia käsittelevä opas selittää, miksi hyvin kalibroitu ennustejoukko on eri asia kuin korkea osumaprosentti. Log loss tuo arviointiin toisen näkökulman: liian varman virhearvion vaikutus kasvaa erittäin suureksi, kun toteutuneelle tapahtumalle annettu todennäköisyys lähestyy nollaa.
Kumpaakaan mittaria ei kannata nimetä yleispätevästi parhaaksi. Valintaan vaikuttaa, mitä mallilta odotetaan ja miten ennusteen numerot on muodostettu. Joissakin tutkimuksissa molempien raportointi voi auttaa ymmärtämään, syntyykö mallin virhe yleisestä epätarkkuudesta vai harvoista hyvin itsevarmoista virhearvioista.
Kuinka 1X2-ennuste arvioidaan?
Jalkapallon 1X2-ennusteessa malli antaa kotivoitolle, tasapelille ja vierasvoitolle omat todennäköisyytensä. Ne muodostavat jakauman, jonka kokonaisuus on yksi eli sata prosenttia. Moniluokkaisessa log loss -laskennassa toteutuneen luokan ennustama todennäköisyys vaikuttaa kunkin ottelun virheeseen.
Tärkeää on käyttää vertailussa kaikkia otteluita eikä vain niitä, joissa malli arvioi selvän suosikin. Myös tasaiset ottelut ja yllätykset kuuluvat testiin. Jos testijoukosta poistetaan vaikeat ottelut jälkikäteen, tulos alkaa kuvata valikoitua aineistoa eikä mallin yleistä ennustustasoa.
Vertailuun on hyvä ottaa yksinkertainen lähtötasomalli. Silloin voidaan mitata, parantaako monimutkaisempi menetelmä todella todennäköisyysennusteita vai kuvaako se vain otteluiden perustason jakaumaa.
Log loss ei mittaa suoraan vedonlyönnin tuottoa
Toisin kuin toteutuneen pelikassan muutos, log loss ei sisällä panostusta, vedonvälittäjän marginaalia tai tarjottujen kertoimien hinnoittelua. Se mittaa ennusteen numeerista laatua. Malli voi arvioida tapahtumat suhteellisen hyvin, mutta silti olla huono löytämään kohteita, joiden kerroin olisi todelliseen todennäköisyyteen nähden edullinen.
Vedonlyönnin odotusarvon oppaassa käsitellään eroa kertoimen ja arvioidun todennäköisyyden välillä. Juuri tämä ero ratkaisee, miksi ennustemallin tarkkuutta ja vedon odotusarvoa pitää testata toisistaan erillisinä asioina.
Log lossista ei saa myöskään suoraan tulkittua euromääräistä odotusarvoa. Jos mittari paranee, se voi kertoa paremmasta ennusteiden laadusta, mutta taloudellinen vaikutus edellyttäisi aivan erillistä laskentaa.
Kalibrointi ja log loss eivät ole sama asia
Kalibrointi tarkoittaa, että tietyn todennäköisyyden saaneista ennusteista tapahtuu pitkällä aikavälillä suunnilleen vastaava osuus. Log loss on kokonaispisteytys, johon vaikuttaa myös ennusteiden kyky erotella erilaisia tapahtumia. Pienempi log loss ei yksin todista, että kalibrointikäyrä olisi kaikissa todennäköisyysluokissa parantunut.
Scikit-learnin kalibrointiopas korostaa ennustettujen luokkatodennäköisyyksien ja havaittujen toteutumisosuuksien vertailua. Kalibrointikäyrän avulla voidaan etsiä, ovatko ennusteet tietyissä luokissa liian varmoja tai liian varovaisia.
Miksi testijakso täytyy valita ennen arviointia?
Ennustemalli voidaan saada näyttämään hyvältä, jos sen muuttujat ja parametrit säädetään juuri samalla otteluaineistolla, jolla tulos raportoidaan. Sama ongelma syntyy, jos tulevat ottelut päätyvät koulutusaineistoon ennen niiden ennustamista. Log loss ei itsessään korjaa aineistovuotoa.
Vedonlyöntijärjestelmän testaamista käsittelevä opas täydentää mallin arvioinnin menetelmiä. Sen periaate on yksinkertainen: testattavasta ottelusta ei saa olla käytettävissä tietoa, joka syntyi vasta arviointihetken jälkeen.
Myös havaintojen määrä pitää raportoida. Jos log loss perustuu hyvin pieneen otokseen, muutama harvinainen ja erittäin itsevarmasti väärin arvioitu tapahtuma voi muuttaa keskiarvoa paljon. Siksi laskentatulosta tulee tarkastella yhdessä epävarmuuden kanssa.
Log loss -tarkistuslista
- Tallenna jokainen ennustettu todennäköisyys ennen ottelua.
- Varmista, että tapahtuman ja toteuman määritelmä on sama kaikissa havainnoissa.
- Laske virhe koko testijoukosta, myös epäonnistuneista ennusteista.
- Pidä koulutus, kalibrointi ja lopullinen testi erillään.
- Vertaa lukua samaan aineistoon perustuvaan yksinkertaiseen malliin.
- Raportoi testin koko ja mahdolliset erittäin itsevarmat virhearviot.
- Älä käsittele log lossia rahallisena tulosmittarina tai varmana osumatarkkuutena.
Yhteenveto
Log loss on käyttökelpoinen mittari, kun halutaan testata vedonlyöntimallin todennäköisyysennusteita eikä vain oikeiden tulosmerkkien määrää. Se tuo esiin erityisesti liian itsevarmat virhearviot, mutta vaatii vertailukelpoisen aineiston ja selkeän testimenettelyn. Tämä 10.10.2026 laadittu opas on tilastollinen menetelmäkuvaus eikä sisällä ajankohtaisia pelivihjeitä tai kertoimia.