Ihmiset, jotka hakevat lainaa pankilta tai luottokorttiyhtiöltä ja jotka on peruutettu, ovat selittäneet, miksi näin tapahtui. Se on hyvä idea - koska se voi auttaa opettamaan ihmisiä korjaamaan vahingoittuneen luotonsa - ja se on liittovaltion laki Equal Credit Opportunity Act. Vastauksen saaminen ei ollut suuri ongelma vuosien varrella, kun ihmiset tekivät nämä päätökset. Mutta kun keinotekoiset älykäsjärjestelmät auttavat tai korvaavat yhä enemmän luottopäätöksiä tekeviä ihmisiä, näiden selitysten saaminen on tullut paljon vaikeammaksi.

Perinteisesti lainan haltija, joka hylkäsi hakemuksen, voisi kertoa mahdolliselle lainanottajalle, että heidän tulotasonsa tai työhistoriaansa oli ongelma, tai riippumatta asiasta. Mutta tietokonepohjaiset järjestelmät, jotka käyttävät monimutkaisia koneoppiminen malleja on vaikea selittää, jopa asiantuntijoille.

Kulutusluottopäätökset ovat vain yksi tapa, jolla ongelma syntyy. Samanlaisia ​​huolenaiheita esiintyy terveydenhuolto, online-markkinoinnin ja jopa rikosoikeus. Oma kiinnostukseni tähän alueeseen alkoi, kun tutkimusryhmä, jonka olin osa löytänytni sukupuolen puolueellisuus online-mainosten kohdistamisessa, mutta ei voinut selittää, miksi se tapahtui.

Kaikilla näillä toimialoilla ja monilla muilla, jotka käyttävät koneen oppimista prosessien analysoimiseksi ja päätösten tekemiseksi, on hieman yli vuoden päästä paljon paremmin selville, miten niiden järjestelmät toimivat. Toukokuussa 2018, uusi Euroopan unionin yleinen tietosuoja-asetus tulee voimaan, mukaan luettuna osa, joka antaa ihmisille oikeuden saada selitystä automatisoiduista päätöksistä, jotka vaikuttavat heidän elämäänsä. Minkä muodon pitäisi selittää nämä selitykset ja voimmeko tarjota niitä?

Tärkeimpien syiden tunnistaminen

Yksi tapa kuvata, miksi automaattinen päätös tehtiin, oli tunnistaa ne tekijät, jotka olivat päätöksessä vaikuttavimpia. Kuinka paljon luoton epäämispäätöksestä johtui siitä, että hakija ei tehnyt tarpeeksi rahaa, tai koska hän ei ollut maksanut lainaa aikaisemmin?

Tutkimusryhmäni Carnegie Mellonin yliopistossa, mukaan lukien tohtoriopiskelija Shayak Sen ja sitten postdoc Yair Zick, loivat tien mitata suhteellinen vaikutus kunkin tekijän. Me kutsumme sitä kvantitatiiviseksi syötteen vaikutukseksi.

Yksittäisen päätöksen paremman ymmärtämisen lisäksi mittaus voi valaista myös joukon päätöksiä: Onko algoritmi kieltänyt luoton ensisijaisesti taloudellisten huolenaiheiden, kuten kuinka paljon hakija on jo velkaa muista veloista? Tai oliko hakijan postinumeron tärkeämpi merkitys - ehdottaa, että perustiedot väestötieteistä, kuten rodusta, olisi tullut peliin?

Syy-yhteys

Kun järjestelmä tekee päätöksiä, jotka perustuvat useisiin tekijöihin, on tärkeää selvittää, mitkä tekijät aiheuttavat päätökset ja niiden suhteellisen panoksen.

Kuvittele esimerkiksi luotto-päätöksentekojärjestelmä, joka vie vain kaksi panosta, hakijan velkaantumisaste ja hänen kilpailunsa, ja on osoitettu hyväksyvän lainat vain valkoihoisille. Tietäen, kuinka paljon kukin päätöksentekoon vaikuttava tekijä voi auttaa meitä ymmärtämään, onko kyseessä laillinen järjestelmä vai onko se syrjivä.

Selitys voisi vain tarkastella panoksia ja lopputulosta sekä seurata korrelaatiota - ei-kaukasialaiset eivät saaneet lainoja. Mutta tämä selitys on liian yksinkertainen. Oletetaan, että ei-valkoihoisilla, joilta evättiin lainoja, oli myös paljon pienempiä tuloja kuin valkoihoisilla, joiden hakemukset olivat onnistuneita. Silloin tämä selitys ei voi kertoa meille, johtuivatko hakijoiden rotu- tai velkasuhde.

Menetelmämme voi tarjota nämä tiedot. Erojen kertominen tarkoittaa sitä, että voimme kiusata, onko järjestelmä epäoikeudenmukaisesti syrjivä tai etsii laillisia kriteerejä, kuten hakijoiden taloutta.

Kilpailun vaikutuksen mittaamiseksi tiettyyn luottopäätöksessä uudistamme hakuprosessin, pitäen velkojen ja tulojen suhdetta samana, mutta muuttamalla hakijan kilpailua. Jos kilpailun muuttaminen vaikuttaa lopputulokseen, tiedämme, että rotu on ratkaiseva tekijä. Jos ei, voimme päätellä, että algoritmi tarkastelee vain taloudellisia tietoja.

Syynä olevien tekijöiden tunnistamisen lisäksi voimme mitata niiden suhteellisen syy-vaikutuksen päätökseen. Teemme sen muuttamalla satunnaisesti tekijää (esim. Rotu) ja mittaamalla, kuinka todennäköistä on, että tulos muuttuu. Mitä suurempi todennäköisyys on, sitä suurempi tekijä vaikuttaa.

Kokonaisvaltainen vaikutus

Menetelmämme voi myös sisältää useita tekijöitä, jotka toimivat yhdessä. Tarkastellaan päätöksentekojärjestelmää, joka myöntää luoton hakijoille, jotka täyttävät kaksi kolmesta kriteereistä: luottoarvo yli 600, auton omistus ja onko hakija maksanut takaisin asuntolainan. Sano hakija, Alice, jolla on luottokelpoisuus 730: lla eikä autolla tai asuntolainalla, on kielletty. Hän pohtii, onko hänen autonsa asema tai asuntolainojen takaisinmaksuhistoria pääasiallinen syy.

Analogia voi auttaa selittämään, miten analysoimme tätä tilannetta. Harkitse tuomioistuinta, jossa päätökset tehdään kolmen tuomarin paneelin enemmistöpäätöksellä, jossa yksi on konservatiivinen, yksi liberaali ja kolmas äänestys, joku, joka saattaa olla yhdessä hänen kollegojensa kanssa. 2-1-konservatiivisessa päätöksessä swing-tuomarilla oli suurempi vaikutus tulokseen kuin liberaali tuomari.

Luottoesimerkkimme tekijät ovat kuin kolme tuomaria. Ensimmäinen tuomari äänestää yleensä lainan puolesta, koska monilla hakijoilla on riittävän korkea luottoarvo. Toinen tuomari äänestää melkein aina lainaa vastaan, koska hyvin harvat hakijat ovat koskaan maksaneet kotiin. Niinpä päätös tulee swing-tuomarille, joka Alicen tapauksessa hylkää lainan, koska hänellä ei ole autoa.

Voimme tehdä tämän päättelyn tarkasti käyttämällä yhteistyön peliteoria, järjestelmä, jossa analysoidaan tarkemmin, miten eri tekijät vaikuttavat yhteen tulokseen. Erityisesti yhdistämme mittauksemme suhteellisen syy-vaikutuksen kanssa Shapleyn arvo, joka on tapa laskea, miten vaikutus voidaan määrittää useille tekijöille. Nämä muodostavat yhdessä kvantitatiivisen tulon vaikutuksen mittauksen.

Toistaiseksi olemme arvioineet menetelmämme päätöksentekojärjestelmissä, jotka olemme luoneet kouluttamalla yleisiä koneen oppimisalgoritmeja reaalimaailman tietokokonaisuuksilla. Algoritmien arviointi reaalimaailmassa on tulevan työn aihe.

Avoin haaste

Analyysimenetelmämme ja selitys siitä, miten algoritmit tekevät päätöksiä, on hyödyllisin sellaisissa tilanteissa, joissa tekijät ovat helposti ymmärrettäviä ihmisille - kuten velan ja tulon suhde ja muut taloudelliset kriteerit.

Monimutkaisempien algoritmien päätöksentekoprosessin selittäminen on kuitenkin edelleen merkittävä haaste. Ota esimerkiksi kuvan tunnistusjärjestelmä, kuten sellaiset havaita ja seurata kasvaimia. Ei ole kovin hyödyllistä selittää tietyn kuvan arviointia yksittäisten pikselien perusteella. Ihannetapauksessa haluaisimme selityksen, joka antaa lisäselvityksen päätöksestä - esimerkiksi tunnistamalla kuvan erityiset tuumorin ominaisuudet. Itse asiassa tällaisten automatisoitujen päätöksentekotehtävien selittämisen pitäminen on monien tutkijoiden pitäminen kiireinen.

Author

Anupam Datta, tietotekniikan ja sähkö- ja tietotekniikan dosentti, Carnegie Mellon University

Tämä artikkeli julkaistiin alunperin Conversation. Lue alkuperäinen artikkeli.

Liittyvät kirjat

at InnerSelf Market ja Amazon