Puolueellisen algoritmin uhri

On syytä huomata, että aivan kuten ihmisillä on puolueellisuutta, myös algoritmeilla on sama taipumus. Esimerkiksi termiä ”algoritminen harha” käytetään kuvaamaan tapauksia, joissa algoritmit voivat tuottaa tuloksia, jotka eivät ole täysin tarkkoja käytettyjen harjoitusaineistojen laadun ja algoritmien koulutuksesta vastaavien henkilöiden mielipiteiden vuoksi. Kyseessä on usein myös tarkoitushakuisesti organisoitu toiminta. Tällaisilla virheillä voi olla myönteinen tai kielteinen vaikutus tiettyihin ihmisryhmiin, ja ne saattavat vaikuttaa merkittävästi koko yhteiskuntaan.

Mitä tarkoitetaan termillä ”algoritminen puolueellisuus”?

Voidaan sanoa, että algoritmisella puolueellisuudella tarkoitetaan sitä, että algoritmit tekevät järjestelmällisiä virheitä, jotka voivat tahattomasti suosia tai syrjiä tiettyjä ihmisryhmiä. Vaikuttaa siltä, että nämä virheet voivat johtua huonosta harjoitusaineistosta ja tietojen kokoamisesta ja algoritmien kouluttamisesta vastaavien ihmisten ennakkoluuloista.

Sovelluksissa, kuten rikostuomioiden antamisessa, lainahakemuksissa ja itseajavissa autoissa, olisi hyödyllistä, jos algoritmit olisivat paitsi tarkkoja myös puolueettomia.

Voit esimerkiksi saada suoraan tietokoneen antaman puolueellisen tuomion, jos tuomari on liian laiska tai epäpätevä tarkistaakseen sitä.

Miten algoritminen puolueellisuus ilmenee?

Voidaan sanoa, että algoritminen puolueellisuus ilmenee, kun algoritmi tekee järjestelmällisesti virheitä, jotka johtavat epätasa-arvoisiin tuloksiin ja mahdollisesti suosivat tai epäedullisesti kohtelevat käyttäjäryhmiä tai tietoja tavalla, joka koetaan epäoikeudenmukaiseksi. Vaikka algoritmit viime kädessä tuottavatkin virheet, syy voi johtuu riittämättömän harjoitusdatan ja algoritmeja kouluttavien ihmisten ennakkoluulojen ja mielipiteiden yhdistelmästä. Ja kuten sanottua, usein toimintaa ohjataan tarkoitushakuisesti.

Esimerkkinä mainittakoon, että ryhmää edustamaton data tai liian pieni data-aineisto johtaa epätarkkoihin tuloksiin. Ihmisten tehtävänä on kuitenkin päättää, minkä tyyppisiä tietoja kerätään, kuinka paljon tietoja tarvitaan ja täyttävätkö tulokset heidän vaatimuksensa. Ryhmien olisi hyödyllistä testata tuloksiaan, sillä eteneminen virheellisten tai epätäydellisten tietojen kanssa voi haitata algoritmien kykyä tehdä tarkkoja päätöksiä. 

Usein algoritmit ovat puolueellisia niiden kouluttamiseen käytetyn datan vuoksi. On myös syytä huomata, että kun otetaan huomioon ennakkoluulojen yleisyys monilla tasoilla ihmisyhteiskunnassa, voi olla haastavaa kouluttaa algoritmeja, jotka ovat täysin vapaita näistä ennakkoluuloista. Usein algoritmiset ennakkoluulot juontavat juurensa tekstistä ja kuvista, joita käytetään mallien kouluttamiseen.

Esimerkkejä algoritmisista vääristymistä

Kun teknologia on integroitunut yhä tiiviimmin jokapäiväiseen elämäämme, on tapauksia, joissa algoritmiset ennakkoluulot ovat aiheuttaneet haasteita.

HR ala: Yksi tapa toteuttaa osaamisperusteista rekrytointia on kouluttaa rekrytointialgoritmeja tunnistamaan tiettyjä ominaisuuksia. On mahdollista, että algoritmit saattavat suosia esimerkiksi kandidaattien puhetapoja sukupuolen, rodun ja muiden ominaisuuksien kaltaisten tekijöiden perusteella, jos ne koulutetaan vinoutuneilla tiedoilla.

Verkkohaku: On mahdollista, että algoritmit voivat havaita sosiaalisia ennakkoluuloja ja tiettyihin sanoihin liittyviä merkityksiä. On mahdollista, että hakukoneet saattavat toisinaan tuottaa tuloksia, jotka ovat puolueellisia tai epäasianmukaisia, kun käyttäjät etsivät tiettyjä termejä tai lauseita. Hakukoneita myös ohjataan tarkoituksella poliittisin perustein. Voit itse kokeilla ja tee kiistanalaisista aiheista vertailevia hakuja esimerkiksi Google ja DuckDuckGo hakukoneiden välillä.

Kasvontunnistusteknologia: On syytä huomata, että kasvontunnistusteknologialla voi toisinaan olla enemmän vaikeuksia tunnistaa tummemman ihonvärisiä henkilöitä. Tämä vaikuttaa moniin sovelluksiin automaattisista lavuaareista itseajaviin autoihin ja niiden kykyyn tunnistaa erilaisia henkilöitä.

Digitaalinen mainonta: On mahdollista, että digitaaliset mainokset voivat kohdistaa käyttäjiä esimerkiksi rodun ja sukupuolen kaltaisten ominaisuuksien perusteella ja että algoritmit vahvistavat näitä malleja.

Poliisi: Lainvalvonnan osalta näyttäisi siltä, että poliisivoimat alkavat käyttää tekoälyalgoritmeja pyrkiessään ennustamaan, missä rikoksia voi tapahtua. On kuitenkin syytä huomata, että tämä teknologia perustuu historiatietoihin. On mahdollista, että valmiiksi hyvin valvotut alueet saavat entistä enemmän huomiota, mikä saattaa johtaa poliisin epäreiluihin käytäntöihin.

Miten estät algoritmista puolueellisuutta?

Yksi mahdollinen lähestymistapa tehokkaampien algoritmien rakentamiseen on käyttää auditointityökaluja, joiden avulla voidaan tunnistaa mahdolliset harjoittelumallin vääristymät ennen sen käyttöönottoa todellisessa maailmassa. Yksi tällainen avoimen lähdekoodin työkalupakki, joka saattaa olla kiinnostava, on Aequitas, joka on kehitetty Chicagon yliopistossa. 

Aequitaksen toimintatapaan perehtymiseksi olisi hyödyllistä ymmärtää prosessi, jonka avulla toimijat varmistavat malliensa tarkkuuden. Havaintojen 4 päätyyppiä:

1. Tässä yhteydessä voimme määritellä todellisen positiivisen tuloksen tapaukseksi, jossa algoritmi tunnistaa todellisen mallin.
2. Vääriä positiivisia tuloksia syntyy, kun algoritmi tunnistaa kuvion, jota ei todellisuudessa ole olemassa.
3. Lisäksi on tapauksia, joissa algoritmi ei pysty tunnistamaan kuviota, jolloin puhutaan todellisesta negatiivisesta.
4. Joissakin tapauksissa algoritmi ei välttämättä tunnista todellisuudessa olemassa olevaa mallia, jolloin puhutaan väärästä negatiivisesta.
   
   

Mallin voidaan katsoa olevan puolueellinen, jos väärien positiivisten tai väärien negatiivisten tulosten määrä on huomattavasti suurempi tai pienempi tietyssä ihmisryhmässä kuin koko väestössä tai verrattuna toiseen alaryhmään. Aequitas vertaa väärien positiivisten ja negatiivisten tulosten osuuksia ”yleisen vertailuryhmän” ja ”suojatun tai valitun” ryhmän välillä, jotta mahdolliset eroavaisuudet saataisiin paremmin selville. Jos ”suojatun tai valitun” ryhmän poikkeama on 80-125 prosenttia vertailuryhmän arvosta, tarkastuksen katsotaan läpäisty. Muussa tapauksessa tarkastuksen katsotaan epäonnistuneen.

Työkalu arvioi useita erilaisia mittareita, kuten väärien negatiivisten osuuksien, väärien positiivisten osuuksien ja väärien positiivisten löydösten osuuksien pariteettia. Jälkimmäisessä kriteerissä tarkastellaan sitä, onko virheiden määrä sama kaikissa alaryhmissä. Tämän jälkeen luodaan raportti, jossa ilmoitetaan, mitkä mittarit saattavat vaatia lisähuomiota. 

Mitä termillä ”oikeudenmukaisuus” tarkoitetaan tavoitteiden yhteydessä

Oikeudenmukaisuuden käsite on aina täysin tulkinnanvarainen, koska se on erilainen jokaiselle käyttäjälle tai sovellukselle. Jokaisella hallituksella, yhteiskunnalla tai organisaatiolla on oma määritelmänsä oikeudenmukaisuudelle.

Joku poliittinen päättäjä voi esimerkiksi pitää puolueohjelmansa mukaisesti oikeudenmukaisuutena sitä, että ketään syrjitä, kun taas jokin toinen sidosryhmä voi toivoa, että algoritmit vähentäisivät ennakoivasti eriarvoisuutta kaikissa ryhmissä ajan mittaan. Pelkkä tavoite on jo puolueellinen.

Saattaa kuitenkin olla hyödyllistä selventää, mitä oikeudenmukaisuudella tarkoitetaan, jotta voidaan alkaa määrittelemään algoritmeille halutut tulokset ja ne ennakkoluulot, joihin halutaan puuttua.

Oikeudenmukaisuuden käsite on aina täysin tulkinnanvarainen, koska se on erilainen jokaiselle käyttäjälle tai sovellukselle. Jokaisella hallituksella, yhteiskunnalla tai organisaatiolla on oma määritelmänsä oikeudenmukaisuudelle.

Jos algoritmin tehtävänä on esimerkiksi rangaistusluonteinen toimenpide, kuten sen määrittäminen, pitäisikö joku vangita, suuri väärien positiivisten tulosten määrä minkä tahansa alaryhmän osalta (liian suuri määrä henkilöitä vankilaan) on esimerkiksi Aequitas projektin Rayid Ghanin mukaan merkittävä huolenaihe, erityisesti verrattuna väärien negatiivisten tulosten määrään (liian pieni määrä). Tämä johtuu siitä, että virheellisellä ennusteella voi olla suuri vaikutus yksilön elämään ja se ylläpitää yhteiskunnallista epätasa-arvoa. 

Vaihtoehtoisesti, jos käytät mallia, jonka tehtävä on avustaa - esimerkiksi algoritmi, joka auttaa löytämään parhaan vakuutusvaihtoehdon - voidaan väittää, että tietyn vakuutussopimuksen suositteleminen on vähemmän ongelmallista.

Tarkkuuden ja oikeudenmukaisuuden optimointi

Monet toimijat keskittyvät rakentamaan malleja, jotka ennustavat oikein mahdollisimman monen skenaarion osalta. Joidenkin mielestä voi kuitenkin olla haastavaa löytää tasapaino tarkkuuden ja oikeudenmukaisuuden välillä, sillä ensin mainittu on usein etusijalla. 

On mahdollista, että suurten ihmisryhmien käyttäytymistä ennustava tarkin malli saattaa johtaa tuloksiin, jotka voidaan kokea epäoikeudenmukaisiksi pienempien osajoukkojen jäsenten kannalta. Yksi tapa välttää tämä on se, että käytetään tarkastustyökaluja mallien rakennuksessa, jotka ovat sekä tarkkoja että oikeudenmukaisia. 

Tulosten avoimuus

Puolueellisuutta on vaikea välttää muun muassa siksi, että ennustemallit perustuvat lähes aina jonkinasteiseen yleistämiseen. Jotta saavutettaisiin mahdollisimman suuri määrä oikeita tuloksia, algoritmi voi olla jonkin verran puolueellinen tai epätarkka, kun kyseessä on pienempi alaryhmä ihmisiä.

Olisi hyödyllistä kutsua koolle kattava sidosryhmien ryhmä keskustelemaan ja määrittelemään ihanteellinen lopputulos. Tämän ei pitäisi olla vain poliittisten päättäjien tai yritysten vastuulla. Olisi hyödyllistä ottaa huomioon ulkopuolisten sidosryhmien panos kehitettäessä algoritmeja, joilla on merkittävä vaikutus kokonaisiin yhteisöihin. Voi olla hyödyllistä harkita erilaisten näkökulmien ryhmän kokoamista, sillä näin voitaisiin mahdollisesti saada kattavampi käsitys asiaan liittyvistä kysymyksistä ja auttaa tunnistamaan aloja, jotka tietotekniikkatiimit ovat saattaneet jättää huomiotta. 

Ennakkoluulon määrittely

Voi olla hyödyllistä käydä yhteistä keskustelua ennakkoluulojen mittareista ja määrittämisestä, sillä se voisi auttaa koodaamaan järjestelmät tehokkaammin, kun tavoitellaan puolueettomuutta. Se tarjoaa myös mahdollisuuden käydä rakentavaa keskustelua siitä, minkä tyyppisiä ennakkoluuloja on tärkeintä välttää.

Algoritmien testausta olisi hyödyllistä jatkaa niiden julkaisemisen jälkeen. Vaikka algoritmeja testataan toistuvasti ennen tuotteen julkaisemista, näiden algoritmien todellista käyttäytymistä ei voida tietää ennen kuin ne asetetaan reaalimaailman tilanteisiin. Olisi hyödyllistä testata algoritmeja ja tekoälyn eri teknologioita niiden julkaisemisen jälkeen ennakkoluulon määrittelyn monimuotoisuutta hyödyntäen, jotta niiden puolueellisuudesta saataisiin tarkempi käsitys.

Lähteet:

Research Guides: Bias in Search Engines And Algorithms: Examples

A critical analysis of the explicit and implicit biases present in various search engines, databases, and algorithms that people regularly interact with in their daily lives

Research Guides at Santa Clara UniversitySanta Clara University

Predictive policing algorithms are racist. They need to be dismantled.

Lack of transparency and biased training data mean these tools are not fit for purpose. If we can’t fix them, we should ditch them.

MIT Technology ReviewWill Douglas Heaven

Aequitas

Aequitas An open source bias audit toolkit for machine learning developers, analysts, and policymakers to audit machine learning models for discrimination and bias, and make informed and equitable decisions around developing and deploying predictive risk-assessment tools. Try it Now!

Data Science and Public Policyrayid