Amazon alkoi hiljattain tarjota samana päivänä valituilla suurkaupunkialueilla. Tämä voi olla hyvä monille asiakkaille, mutta käyttöönotto osoittaa, miten tietokonepohjainen päätöksenteko voi myös tuottaa voimakkaan syrjinnän.
Yhtiö aloitti palvelunsa aloilla, joilla kuljetushinnat olisivat alhaisimmat, tunnistamalla tiheästi asuttujen paikkojen ZIP-koodit, joissa asuu monia olemassa olevia Amazon-asiakkaita, joiden tulotaso on riittävän korkea, jotta tuotteet voitaisiin ostaa usein samana päivänä. Yhtiö toimitti verkkosivun, jonka avulla asiakkaat voivat syöttää postinumeronsa nähdäkseen, tarjosivatko heille saman päivän toimitus. Bloomberg Newsin tutkivat toimittajat käyttivät tätä sivua luo karttoja Amazonin palvelualueesta samana päivänä.
Bloombergin analyysi paljasti, että monet köyhät kaupunkialueet jätettiin palvelualueelle, kun taas mukana oli runsaampia lähialueita. Monet näistä syrjäytyneistä köyhistä alueista olivat pääasiassa vähemmistöjen asuttuja. Esimerkiksi kaikki Bostonit katettiin paitsi Roxbury; New York Cityn kattavuus sisälsi lähes kaikki neljä kaupunginosaa, mutta Bronxin kokonaan pois; Chicagon kattavuus jätti pois köyhtyneen eteläpuolen, ulottuen huomattavasti varakkaisiin pohjois- ja läntisiin esikaupunkeihin.
Vaikka on houkuttelevaa uskoa, että tietopohjaiset päätökset ovat puolueettomia, tutkimusta ja tieteellistä keskustelua ovat alkaneet osoittaa sitä kohtuuttomuutta ja syrjintää. Minun online-kurssi tietojen etiikasta, opiskelijat oppivat sen algoritmit voivat syrjiä. Mutta saattaa olla hieman hopeavuorea: Kuten Bloombergin tutkimuksesta käy ilmi, päätösten perustaminen tietoihin voi myös helpottaa havaitsemista, kun esijännitykset syntyvät.
Bias voi olla tahaton
Tällainen epäoikeudenmukaisuus Amazonin toimituspolitiikassa voi syntyä monista syistä, mukaan lukien piilotetut puolueet - kuten oletukset, että populaatiot jakautuvat tasaisesti. Algoritmien suunnittelijat eivät todennäköisesti aio syrjiä, eivätkä ehkä edes ymmärrä, että ongelma on hiipunut.
Amazon kertoi Bloombergille, että sillä ei ollut syrjivää tarkoitusta, ja on syytä uskoa, että tämä väite on. Vastauksena Bloombergin mietintöön, kaupunki virkamiehet ja muut poliitikot kehotti Amazonia korjaamaan tämän ongelman. Yritys siirtyi nopeasti lisäämään alunperin jätetyt köyhät kaupunkilähetyskoodit palvelualueellaan.
Vastaava kysymys on ollut kysyi Uberiltä, joka näyttää tarjoavan parempaa palvelua alueilla, joilla asuu enemmän valkoisia ihmisiä. On todennäköistä, että tulevaisuudessa löydetään enemmän vähittäiskaupan ja palvelualan esimerkkejä tahattomasta algoritmisesta syrjinnästä.
Kysy liian paljon algoritmeja?
Meidän pitäisi keskeyttää hetki harkitsemaan, olemmeko tarpeettomasti vaativia algoritmisia päätöksiä. Tiili- ja laastiliiketoimintayhtiöt tekevät paikanpäätökset koko ajan ottaen huomioon kriteerit, jotka eivät poikkea Amazonista. Myymälät yrittävät saada sijainteja, jotka ovat käteviä suurelle potentiaalisten asiakkaiden poolille, jolla on rahaa.
Tästä syystä harvat myymälät valitsevat sijaintinsa köyhissä kaupunkialueissa. Erityisesti ruokakauppojen yhteydessä tätä ilmiötä on tutkittu laajasti, ja termi "ruoka-autiomaassa”On käytetty kuvaamaan kaupunkialueita, joiden asukkailla ei ole kätevää pääsyä tuoreeseen ruokaan. Tämä sijainnin harhaa vähittäismyymälöissä on vähemmän tutkittua.
Ohjeellisena esimerkkinä katsoin suurta kattavaa vähittäiskauppaketjua, Targetin 55 Michiganin sijainteja. Kun lajin jokaisen Michiganin postinumeron sen perusteella, oliko sen keskitulot yläpuolella tai alareunassa puolivälissä statewide, huomasin, että vain 16 Target-myymälöissä (29 prosenttia) oli ZIP-koodeissa alemman tulotason ryhmästä. Yli kaksi kertaa enemmän, 39-myymälöitä, sijoitettiin ZIP-koodeissa varakkaammasta puolesta.
Syrjinnän tunnistaminen
Lisäksi Detroitin kaupungissa ei ole Target-myymälöitä, vaikka sen (varakkaimmissa) lähiöissä on useita. Sitä paitsi ei ole ollut mitään suosittua pahoinpitelyä, jonka mukaan Target syrjii epäoikeudenmukaisesti köyhiä ihmisiä myymäläpaikkapäätöksissään. On kaksi pääsyytä, joiden vuoksi Amazon on huolestunut: jäykkyys ja määräävä asema.
Jäykkyys liittyy sekä verkkokauppiaiden päätöksentekoprosesseihin että tulokseen. Amazon päättää, mitkä postinumerot ovat palvelualueellaan. Jos asiakas asuu vain kadun toisella puolella Amazonin asettamasta rajasta, hän on palvelualueen ulkopuolella ja voi tehdä sen vähän. Sitä vastoin joku, joka asuu postinumerossa ilman Target-myymälää, voi silti tehdä ostoksia Targetillä - vaikka se voi kestää kauemmin.
Se merkitsee myös sitä, kuinka vähittäiskauppias on määräävässä asemassa kuluttajien mielessä. Vaikka Target on vain yksi monista fyysisten myymäläketjujen joukosta, Amazon nauttii markkinoiden määräävä asema web-jälleenmyyjänä, ja siten houkuttelee enemmän huomiota. Tällainen määräävä asema on nykypäivän ominaispiirre voittaja vie kaiken Web-yritykset.
Vaikka niiden jäykkyys ja määräävä asema saattavat aiheuttaa meille enemmän huolta verkkoyrityksistä, pystymme myös paremmin havaitsemaan heidän syrjinnänsä kuin tiili- ja laasti- kaupoissa. Perinteiselle ketjupalvelulle meidän on arvattava, kuinka pitkälle kuluttajat ovat valmiita matkustamaan. Saatamme myös olla tietoinen ajasta: Viisi kilometriä seuraavaan moottoritieltä poistumiseen ei ole sama asia kuin viisi kilometriä ruuhkaisilla kaduilla kaupungin toiselle puolelle. Lisäksi matka-aika itse voi vaihdella suuresti vuorokauden mukaan. Tunnistettuaan todennäköiset alueet kauppa palvelee, ne eivät saa kartoittaa siististi maantieteellisiin yksiköihin, joista meillä on tilastoja rodusta tai tuloista. Lyhyesti sanottuna analyysi on sotkuinen ja vaatii paljon vaivaa.
Sitä vastoin Bloombergin toimittajat olisivat ottaneet vain muutaman tunnin aikaa kehittääkseen Amazon-palvelualueen karttaa ja korreloida sen tulojen tai rodun kanssa. Jos Amazon olisi tehnyt sen sisäisesti, he olisivat voineet tehdä saman analyysin vain muutamassa minuutissa - ja ehkä huomanneet ongelmat ja korjata ne ennen saman päivän palvelua.
Miten ihmiset vertaavat?
Katsokaamme hyvin erilaista esimerkkiä nähdäksemme, miten samat kohdat koskevat laajasti. Äskettäin ProPublica julkaisi erinomainen analyysi rotusyrjinnästä algoritmilla, joka ennustaa rikollisen todennäköisyyden uudelleen rikkomiseen. Algoritmi pitää kymmeniä tekijöitä ja laskee todennäköisyysarvion. ProPublican analyysi havaitsi merkittäviä systemaattisia rasistisia puolueita, vaikka kilpailu ei kuulunut erityisiin tekijöihin.
Ilman algoritmia ihmisen tuomari tekisi samanlaisen arvion osana tuomitsemista tai erottamista koskevaa päätöstä. Ihmispäätöksessä voitaisiin harkita rikkaampaa joukkoa tekijöitä, kuten rikollisen oikeussaliin. Mutta me tiedämme psykologian opinnot, Että ihmisen päätöksenteko on täynnä puolueellisuutta, vaikka yritämme parhaamme olla oikeudenmukaisia.
Mutta mahdolliset virheet, jotka johtuvat ihmisoikeustuomareiden päätösten puolueellisuudesta, ovat todennäköisesti erilaisia eri tuomareiden kesken ja jopa saman tuomarin tekemien eri päätösten osalta. Kokonaisuutena voi olla rotuun perustuvaa syrjintää alitajuntaan, mutta tämän lopullisen vahvistaminen on hankalaa. Yhdysvaltain oikeusministeriön tutkimuksessa havaittiin vahvoja todisteita valkoisten ja mustien vankien tuomitsemisessa, mutta se ei voinut selvittää selvästi, onko rotu itsessään tekijä näissä päätöksissä.
Sitä vastoin täsmälleen sama algoritmi ProPublica tarkasteli tuhansia tapauksia monissa valtioissa. Sen jäykkyys ja suuri volyymi helpottavat sen määrittämistä, onko se syrjivä - ja voivat tarjota keinoja ongelman korjaamiseksi tehokkaasti.
Tietotekniikan käyttö näyttää helpottavan linjojen kirkkautta, erilaistumista ja tietoja kaikesta tästä helpommin. Se, mitä eilen voitiin harjata maton alla, kiinnostaa huomiota. Kun löydämme yhä useampia käyttötapoja datapohjaisiin algoritmeihin, ei ole vielä tavallista analysoida niiden oikeudenmukaisuutta, erityisesti ennen uuden tietopohjaisen palvelun käyttöönottoa. Sen tekeminen menee pitkälle näiden yhä tärkeempien tietokoneistettujen laskelmien oikeudenmukaisuuden mittaamiseen ja parantamiseen.
Author
HV Jagadish, Bernard A Galler sähkötekniikan ja tietojenkäsittelytieteen professori, University of Michigan
Tämä artikkeli julkaistiin alunperin Conversation. Lue alkuperäinen artikkeli.
Liittyvät kirjat
at InnerSelf Market ja Amazon
