Asiantuntijat saivat sen katastrofaalisesti väärin Yhdistyneen kuningaskunnan pääministerin Boris Johnsonin entisen pääneuvonantajan Dominic Cummingsin mukaan. Cummings on väittänyt että Ison-Britannian hallituksen viralliset tieteelliset neuvot maaliskuussa 2020 ymmärsivät erittäin väärin pandemian esiintymisen, mikä johti tuhansien ihmishenkien maksamiseen.

Cummingsin mukaan tietyt asiantuntijat, joilla on vähemmän tietoa pandemioista tai lääketieteestä - kuten datatieteilijä Ben Warner, tekoälyn tutkija Demis Hassabis DeepMindistä ja matemaatikko Tim Gowers - antoivat tarkempia ennusteita tässä vaiheessa.

Cummingsin tiedetään myös olevan tuuletin of Superforecasting kirjoittanut Philip Tetlock, kirja ihmisistä, jotka ennustavat tulevia tapahtumia luotettavammin kuin useimmat. Jotkut superennustajat on kiitetty heidän ennusteistaan ​​pandemiasta, kun taas toisetkin ovat olleet kriittinen asiantuntijoiden suhteen ennätys.

Joten pitäisikö hallitusten käyttää enemmän superennusteita sen sijaan, että luotettaisiin tieteellisiin asiantuntijoihin? Todisteet eivät ole aivan yhtä selkeitä. Mutta varmasti näyttää olevan asioita, joita hallitukset voisivat oppia superennusteesta.

Jonkin sisällä kuuluisa amerikkalainen tutkimus vuonna 2014 julkaistuissa superennusteissa he olivat eliittimiehistöä. Vain kaksi parasta kilpailijaa menestyi riittävän hyvin geopoliittisessa ennustusturnauksessa voittaakseen tittelin. Heidän tehtävänään oli määrittää todennäköisyydet mahdollisille vastauksille kymmeniin kysymyksiin.

Tutkijat esittävät muutamia havainnollistavia esimerkkejä. Kuka olisi Venäjän presidentti vuonna 2012? Räjäyttääkö Pohjois-Korea seuraavan ydinaseen seuraavien kolmen kuukauden aikana? Kuinka monta pakolaista pakenee Syyriasta ensi vuonna?

Tietysti vain se, että jollakin on hyvä vuosi, ei osoita, että hän on taitavampi kuin kukaan muu. Ehkä he vain onnistuivat. Meidän on tarkasteltava, kuinka hyvin he tekivät seuraavina vuosina arvioidakseen kuinka "super" he todella ovat.

Vaikuttavasti nämä superennustajat säilyttivät etunsa, kun turnaus kului vielä kolme vuotta. Itse asiassa, kun heidät yhdistettiin "superennusteisiksi joukkueiksi", jotka sisälsivät vain muita parhaita esiintyjiä, heidän suorituskyky kasvoi huomattavasti. Tutkijat havaitsivat myös, että työskentely ryhmissä ja asiaankuuluvan koulutuksen parantaminen paransi muiden ennustajien suorituskykyä verrattuna sääolosuhteiden ennustajiin.

Joukkueet ja koulutus

Riippumatta siitä, otammeko Cummingsin sanaan, että Ison-Britannian pandemiasuunnittelu kärsi klassisesta ryhmäajattelukuplasta, tiedämme, että joukkueet eivät aina tee viisaita päätöksiä. Mikä sai joukkueet menestymään USA: n tutkimuksessa?

On vaikea sanoa varmasti, mutta tutkijat rohkaisivat tiimejä nimenomaan esittämään tarkkoja kysymyksiä kannustaakseen selkeämpää ajattelemaan tiettyä ennustetta tukevaa näyttöä, "etsimään todisteita, jotka ovat ristiriidassa nykyisen ennustesi kanssa" ja rakentavasti esittelemään vaihtoehtoisia näkökulmia. .

Tällainen keskustelu voi hyvinkin parantaa kollektiivista arviointia ja varo ryhmähahmoja vastaan. Tiimin jäseniä ei myöskään vaadittu pääsemään yksimielisyyteen. Vaikka he jakoivat tietoja ja mielipiteitä, he tekivät kuitenkin yksilöllisiä ennusteita, jotka yhdistettiin algoritmeilla. Erityisesti Superforecaster-joukkueet olivat erittäin sitoutunut, jakamalla tietoja usein muiden ryhmän jäsenten kanssa ja esittämällä niille kysymyksiä.

Toisessa tutkimuksessa tarkasteli tarkemmin, mitkä erityiset harjoittelutekniikat näyttivät auttavan eniten. Kolme tekniikkaa liittyi erityisesti suurempaan tarkkuuteen. Ensimmäinen oli ns. Vertailuluokkien käyttö.

Esimerkiksi, jos yritän ennustaa todennäköisyyttä, että Benedict Cumberbatch ja Sophie Hunter ovat edelleen yhdessä viiden vuoden kuluttua, voi olla hyödyllistä ajatella muita merkityksellisiä "luokkia" - esimerkiksi julkkis avioliittojen luokkaa tai jopa avioliitot yleensä. Tämä antaa minun katsoa historiaa kertoa ennusteistani: Kuinka suuri osa julkkis avioliitoista päättyy kuluvan viiden vuoden aikana?

Toinen oli matemaattisten ja tilastollisten mallien käyttäminen, jos sellaisia ​​on käytettävissä, omien mielipiteidensä tiedottamiseksi. Kolmas oli "valita oikeat kysymykset" - suositus viettää enemmän aikaa vastausten ennustamiseen kysymyksiin, joissa tiedät enemmän kuin muut aiheesta tai joihin lisätutkimukset todennäköisesti kannattavat. Tutkijat kuitenkin korostivat, että kaikki treeni voi olla vaikuttanut kokonaisvaltaisesti parempaan suorituskykyyn.

Tutkimukset ovat myös osoittaneet sen tarkkuus paranee, kun seuraamme aikaisempaa suorituskykyä - mutta palautteella on merkitystä. Oliko tuloksia, joiden luulit tapahtuvan 20% ajasta, tosiasiallisesti 20% ajasta? Entä tulokset, joiden luulit tapahtuvan 90% ajasta? Suorituskyky paranee niille, jotka saavat tällaista tietoa.

Voivatko hallitukset pärjätä paremmin?

Olisiko Ison-Britannian hallitus voinut tehdä paremmin COVID-19: ssä pyytämällä superennusteiden tiimien panosta? Se on mahdollista. Superennustajat paikassa Hyvä tuomio Open ja harjoitellut ennustajia Metaculus (johon olen osallistunut) kukin näyttää toimineen hyvin COVID-19: ssä, Metaculuksen väittäessä olevan parempia asiantuntijoita kesäkuussa 2020. Se sanoi, a viime sarja COVID-19-ennusteista koulutetut ennustajat eivät aina olleet tarkempia kuin asiantuntijat. Tutkimuksen taustalla olevat tutkijat kokeilevat tapoja yhdistää toimialan asiantuntijoiden ja koulutettujen ennustajien ennusteet "konsensusennusteeksi".

Vaikuttaa myös uskottavalta, että jopa koulutus, joka auttoi muita kuin supers-ihmisiä tekemään parempia ennusteita, olisi ollut hyödyllistä. Esimerkiksi Cummings väitti, että vaikka epidemiologisiin malleihin kiinnitettiin paljon huomiota, todisteita, jotka olivat ristiriidassa mallien oletusten kanssa - kuten tehohoitoyksiköiden ilmoittamat tiedot - ei otettu huomioon. Vaikuttaa varmasti uskottavalta, että joku, joka on koulutettu etsimään todisteita, jotka ovat ristiriidassa nykyisen ennustesi kanssa, on saattanut huomata tämän aikaisemmin.

Kaikki kirjallisuuden suositukset eivät tietenkään ole käytännöllisiä hallituksen asetuksissa. Teoriassa hallitukset voisivat testata tällaiset suositukset itse ja hyväksyä kaikki, jotka vaikuttivat hyödyllisiltä. Valitettavasti et voi parantaa sitä, mitä et mittaa.

In Superforecasting, Tetlock korostaa, että kaikkien organisaatioiden, jotka haluavat parantaa ennusteitaan, on liitettävä niihin konkreettiset numerot, ainakin sisäisesti. Ilmaus, kuten "vakava mahdollisuus", voi tarkoittaa 20 prosentin mahdollisuutta yhdelle henkilölle ja 80 prosentin mahdollisuutta toiselle.

Cummings tarkoitti melkein varmasti tätä kun hän sanoi: "Mies nimeltä Phil Tetlock kirjoitti kirjan ja siinä kirjassa hän sanoi, että sinun ei pidä käyttää sellaisia ​​sanoja kuin kohtuullinen, todennäköinen ja todennäköinen, koska se hämmentää kaikkia." Ehkä sen ei pitäisi yllättää meitä, jos organisaatioilla, jotka eivät tee ennusteita siten, että niitä voidaan arvioida, ei ole valmiuksia oppia parantamaan niitä. Parantamiseksi sinun on ensin yritettävä.