Rikosoikeudellisissa järjestelmissä, luottomarkkinoilla, työllisyysalueilla, korkeakoulujen ottamisprosesseissa ja jopa sosiaalisen median verkot, datapohjaiset algoritmit nyt ajaa päätöksentekoa tavalla, joka koskettaa taloudellista, sosiaalista ja kansalaiselämäämme. Nämä ohjelmistojärjestelmät luokittelevat, luokittelevat, yhdistävät tai suodattavat tietoja käyttäen ihmisen muotoiltuja tai datan aiheuttamia sääntöjä, jotka mahdollistavat johdonmukaisen hoidon suurissa populaatioissa.

Mutta vaikka näistä tekniikoista voi olla hyötyä, he voivat myös satunnaiset epäsuotuisat ryhmät or vahvistaa rakenteellista syrjintää. Esimerkiksi rikosoikeuden osalta on oikeudenmukaista tehdä arvioita yksilön roolista tilastollisten suuntausten perusteella, joita mitataan laajalla joukolla ihmisiä? Voisiko syrjintä syntyä tilastollisen mallin soveltamisesta on kehitetty yhdelle valtion väestölle toiselle, väestörakenteellisesti eri väestölle?

Yleisön on ymmärrettävä julkisilla aloilla käytettävien algoritmien puolueettomuus ja teho, myös valtion virastot. Olen pyrkinyt siihen algoritminen vastuu, pyrkii tekemään näiden järjestelmien vaikutukset selkeämmiksi ja ymmärrettävämmiksi.

Olemassa olevat läpinäkyvyysmenetelmät, kun niitä sovelletaan algoritmeihin, voivat antaa ihmisille mahdollisuuden seurata, tarkastaa ja kritisoida, miten nämä järjestelmät toimivat - tai ei, tapauksen mukaan. Valitettavasti valtion virastot näyttävät olevan valmiita tutkimaan algoritmeja ja niiden käyttöä päätöksissä, jotka vaikuttavat merkittävästi sekä yksilöihin että yleisöön.

Julkisen valvonnan algoritmit

Viime vuonna liittovaltion hallitus alkoi opiskella tietokoneavusteisen analyysin käyttämisen edut ja haitat, joiden avulla voidaan määrittää vankien todennäköisyys uudelleensyntymiseen vapauttamisen yhteydessä. Henkilöiden arvosteleminen matalana, keskisuurena tai suurena riskinä voi auttaa asumis- ja hoitopäätöksissä, yksilöimällä henkilöt, jotka voidaan turvallisesti lähettää vähimmäissuojavankilaan tai jopa "puolivälissä olevaan taloon" tai jotka hyötyvät tietyntyyppisestä psykologinen hoito.

Nämä tiedot voivat tehdä oikeusprosessista tehokkaamman ja edullisemman ja jopa vähentää vankiloiden väkivaltaa. Vähäriskisten rikoksentekijöiden kuten suuririskisten rikollisten hoito on osoitettu joissakin tutkimuksissa johtaa siihen, että heitä internalisoidaan "sairaana" rikolliseksi ja tarvitsevat hoitoa niiden poikkeavan käyttäytymisen vuoksi. Niiden erottaminen voi siten vähentää sellaisten negatiivisten käyttäytymien kehittymistä, jotka johtaisivat recidivismiin vapautettaessa.

Tiedot ja algoritmit vankien uudelleensyntymisriskin määrittämiseksi ovat jo olemassa joita valtiot käyttävät laajasti vankeusrangaistuksen, koeajan, erimielisyyden ja jopa tuomion hallinnoinnista. Niiden on kuitenkin helppo mennä huomaamatta - ne näyttävät usein turhalta byrokraattiselta paperityöltä.

Tyypillisesti algoritmit keitetään alas yksinkertaistetuille pisteetarkeille, jotka täyttävät julkiset virkamiehet ja joilla on vain vähän ymmärrystä taustalla olevista laskelmista. Esimerkiksi tapaustyöntekijä voi arvioida vangin lomakkeella, jossa tapaturman työntekijä merkitsee, että vanki on tuomittu väkivaltaisesta rikoksesta, oli nuori ensimmäisessä pidätyksessä, eikä ollut valmistunut lukiosta tai saanut GED. Nämä tekijät ja muut tekijät henkilölle ja rikokselle johtavat pisteeseen, joka viittaa siihen, olisiko vanki oikeutettu kohtuuttomaan tarkasteluun.

Itse muoto ja sen pisteytysjärjestelmä esittävät usein algoritmin keskeisiä piirteitä, kuten tarkasteltavat muuttujat ja miten ne tulevat yhteen muodostaakseen yleisen riskipisteen. Mutta algoritmisen avoimuuden kannalta on tärkeää tietää, miten tällaiset muodot on suunniteltu, kehitetty ja arvioitu. Vasta sitten yleisö voi tietää, ovatko pistemäärän saavuttamiseen liittyvät tekijät ja laskelmat reilut ja kohtuulliset tai tietämättömät ja puolueelliset.

Tiedonvapauslain käyttö

Ensisijainen työkalu, jolla saamme kätemme näihin muotoihin ja niiden tukimateriaaliin, on laki ja erityisesti tiedonsaantioikeus. Ne ovat yksi tehokkaimmista mekanismeista, joita yleisöllä on käytettävissään hallituksen avoimuuden varmistamiseksi. Liittovaltion tasolla Tiedonvapauslaki (FOIA) antaa yleisölle virallisen pyynnön - ja odottaa saavansa vastineeksi - asiakirjat liittovaltion hallitukselta. Analogisia sääntöjä on olemassa kunkin valtion osalta.

1966: ssa käyttöön otettu FOIA luotiin ennen tietojenkäsittelyn laajaa käyttöä, ja ennen kuin suuria tietomalleja käytettiin rutiininomaisesti ohjelmistojärjestelmissä yksilöiden hallitsemiseksi ja ennusteiden tekemiseksi. On ollut joitakin alustavia tutkimuksia FOIA pystyy helpottamaan ohjelmiston lähdekoodin paljastamista. Mutta on vielä kysymys siitä, ovatko nykyiset lait reagoivat 21st-luvun julkisuuden tarpeisiin: voimmeko FOIA-algoritmeja?

Tapaustutkimus algoritmin läpinäkyvyydestä

Pyysin vastata tähän kysymykseen Philip Merrillin journalismin kollegio Marylandin yliopistossa, jossa olen apulaisprofessori. 2015in syksyllä yhteistyössä kollegani Sandy Baniskyn mediaoikeusluokan kanssa ohjaimme opiskelijoita toimittamaan FOIA-pyyntöjä kullekin 50-tilalle. Pyysimme asiakirjoja, matemaattisia kuvauksia, tietoja, validointiarviointeja, sopimuksia ja lähdekoodia, jotka liittyvät rikosoikeudessa käytettäviin algoritmeihin, kuten ehdolliseen ja koeajaan, takuuseen tai tuomitsemiseen liittyviin päätöksiin.

Puolivuotisen projektin aikana ponnistelut olivat välttämättömiä ajallisesti, ja niillä oli runsaasti esteitä ja suhteellisen vähän menestystä. Kuten monien toimittajien tutkimusten yhteydessä, jopa huomattiin, kenelle kysyttiin - ja miten - oli haaste. Eri virastot voivat olla vastuussa rikosoikeusjärjestelmän eri aloista (tuomiot saattavat tapahtua tuomioistuimissa, mutta korjausviraston tekemä rinnakkaisvalvonta).

Jopa oikean henkilön tunnistamisen jälkeen opiskelijat totesivat, että valtion virkamiehet käyttivät eri terminologiaa, mikä vaikeutti tiedon saamista haluamistaan ​​tiedoista. Toisinaan opiskelijat joutuivat tekemään töitä selittääkseen rikosoikeudellisia algoritmeja ei-niin tietoiselle julkiselle palvelijalle. Jälkikäteen on ehkä ollut tehokkaampaa kysyä "riskinarviointivälineitä", kuten se on valtion hallitusten usein käyttämä termi.

Vastausten käsittely

Jotkut valtiot, kuten Colorado, kieltäytyivät pyynnöstä, sanoen, että algoritmit sisältyvät ohjelmistoon, jota ei pidetty "dokumenttina", jonka mukaan avoimet julkiset lait vaativat virkamiehiä julkistamaan. Eri valtioilla on erilaiset säännöt ohjelmiston käytön julkistamisesta. Tämä on joskus esiintynyt tuomioistuimissa, kuten 2004 sopii Detroitin kaupunkiin siitä, onko kaava vierekkäisen kaupungin perimien vesimaksujen laskemiseksi julkistettava.

Omissa ponnisteluissamme saimme vain yhden matemaattisen kuvauksen rikosoikeudellisesta algoritmista: Oregon julkisti 16-muuttujat ja niiden painot mallissa, jota käytetään ennustamaan recidivismiä. Pohjois-Dakotan osavaltio julkaisi Excel-laskentataulukon, jossa esitetään yhtälöt, joita käytettiin määrittämään päivämäärät, jolloin vangit olisivat oikeutettuja harkitsemaan ehtoja. Idahosta ja New Mexicoista saimme asiakirjoja, joissa oli joitakin kuvauksia recidivism-riskiarvioista, joita kyseiset valtiot käyttivät, mutta mitään yksityiskohtia siitä, miten ne on kehitetty tai validoitu.

Yhdeksän valtiota kieltäytyi antamasta tietoja rikosoikeudellisten algoritmiensa tiedoista sillä väitteellä, että tieto oli todella yrityksen omistuksessa. Tämä merkitsee sitä, että algoritmin vapauttaminen vahingoittaisi sitä kehittänyt yritys. Yhteinen toistuvuusriskikysely, nimeltään LSI-R, osoittautuu tekijänoikeuksin suojatuksi kaupalliseksi tuotteeksi. Havaiji ja Maine väittivät, että ne estivät sen julkistamisen yleisölle.

Louisiana sanoi, että sen tekemä sopimus uuden riskinarviointimenetelmän kehittäjän kanssa on estänyt pyydettyjen tietojen julkaisemisen kuuden kuukauden ajan. Kentuckyn osavaltio viittasi sopimukseensa a hyväntekeväisyysperusta koska se ei voinut paljastaa lisätietoja. Huoli yksityisyydensuojatuista tiedoista voi olla oikeutettua, mutta kun otetaan huomioon, että hallitus tekee sopimuksia yksityisten yritysten kanssa, miten me tasapainotamme nämä huolenaiheet selitettävän ja laillisen oikeusjärjestelmän kanssa?

Parannusten tekeminen

Paljon tarvitaan FOIA-uudistusta parhaillaan käsittelyssä kongressi. Tämä antaa mahdollisuuden nykyaikaistaa lakia, mutta ehdotetut muutokset eivät vieläkään sovi yhteen algoritmien kasvavan käytön kanssa hallituksessa. Algoritminen avoimuusinformaatio saattaa olla kodifioitu kertomuksiin, joita hallitus tuottaa ja julkistaa säännöllisesti osana tavanomaista liiketoimintaa.

Yhteiskuntana meidän pitäisi vaatia, että julkiset tiedotusviranomaiset koulutetaan, jotta he ovat lukutaidokkaita ja todella sujuvat terminologiassa, jota he voivat kohdata, kun yleisö pyytää algoritmeja. Liittovaltion hallitus voi jopa luoda uuden aseman "algoritmeille", oikeusasiamiehelle, jonka tehtävänä olisi viestiä ja automatisoida kenttätutkimuksia.

Yksikään tutkimuksessamme saamistamme asiakirjoista ei kertonut meille, miten rikosoikeuden riskinarviointilomakkeita kehitettiin tai arvioitiin. Koska algoritmit hallitsevat yhä enemmän elämäämme, kansalaiset tarvitsevat - ja niiden täytyy vaatia - enemmän avoimuutta.

Author

Nicholas Diakopoulos, hinaaja, Digitaalisen journalismin hinauskeskus Columbian yliopistossa; Marylandin yliopiston journalismin professori. Hänen tutkimustaan ​​on laskennallisessa ja data-journalismissa, jossa korostetaan algoritmista vastuullisuutta, kerronta-aineiston visualisointia ja sosiaalista tietojenkäsittelyä uutisissa.

Tämä artikkeli julkaistiin alunperin Conversation. Lue alkuperäinen artikkeli.

Liittyvät kirjat

at InnerSelf Market ja Amazon