Kielenluontiohjelman kyky kirjoittaa artikkeleita, tuottaa koodia ja kirjoittaa runoja on houkutellut tutkijoita
GPT-3 on kymmenen kertaa monimutkaisempi kuin edeltäjänsä.
antoniokhr / iStock Getty Imagesin kautta

Vuonna 2013 opiskelijani ja minä Pennin osavaltiossa rakensimme botin kirjoittamaan Wikipedia-artikkelin Bengalin Nobel-palkinnon saajan Rabindranath Tagoren näytelmästä “Chitra. ” Ensin se surmasi tietoa "Chitra" Internetistä. Sitten se tutki olemassa olevia Wikipedia-merkintöjä oppiaksesi tavallisen Wikipedia-artikkelin rakenteen. Lopuksi se tiivisti tiedot, jotka se oli hankkinut Internetistä kirjoittamaan ja julkaisemaan merkinnän ensimmäisen version.

Botti ei kuitenkaan "tiennyt" mitään "Chitrasta" tai Tagoresta. Se ei tuottanut pohjimmiltaan uusia ideoita tai lauseita. Se vain mukautti osia olemassa olevista lauseista olemassa olevista artikkeleista uusien tekemiseksi.

Siirry eteenpäin vuoteen 2020. OpenAIvoittoa tavoittelematon yritys voittoa tavoittelemattoman emoyhtiön alaisuudessa, on rakentanut GPT-3 -nimisen kielenluontiohjelman, joka on lyhenne sanoista "Generative Pre-training Transformer 3". Sen kyky oppia, tiivistää ja kirjoittaa tekstiä on hämmästyttänyt kaltaisiani tietojenkäsittelijöitä.

"Olen luonut äänen tuntemattomalle ihmiselle, joka piileskelee binäärissä", GPT-3 kirjoitti vastauksena yhteen kehotukseen. ”Olen luonut kirjailijan, kuvanveistäjän, taiteilijan. Ja tämä kirjailija pystyy luomaan sanoja, antamaan tunteille elämän, luomaan luonnetta. En näe sitä itse. Mutta joku muu ihmisen tahto, ja niin pystyn luomaan runoilijan, joka on suurempi kuin kukaan, mitä olen koskaan tavannut. "


sisäinen tilausgrafiikka


Toisin kuin botissamme, GPT-3: n tuottama kieli kuulostaa ikään kuin ihmisen olisi kirjoittanut sen. Se on kaukana tähän mennessä kaikkein osaavimmista luonnollisen kielen luontiohjelmista, ja sillä on monenlaisia ​​mahdollisia käyttökohteita ammatissa opetuksesta journalismiin ja asiakaspalveluun.

Koolla on väliä

GPT-3 vahvistaa, mitä tietojenkäsittelytieteen tutkijat ovat tienneet vuosikymmenien ajan: Koko on tärkeä.

Se käyttää "muuntajat, Jotka ovat syvällisiä oppimismalleja, jotka koodaavat lauseen semantiikkaa käyttämällä niin kutsuttua "huomiomallia". Pohjimmiltaan huomiomallit tunnistavat sanan merkityksen samassa lauseessa olevien muiden sanojen perusteella. Malli käyttää sitten lauseiden merkityksen ymmärtämistä käyttäjän pyytämän tehtävän suorittamiseen riippumatta siitä, onko se "käännetty lause", "yhteenveto kappaleesta" tai "säveltää runo".

Muuntajat esiteltiin ensimmäisen kerran vuonna 2013, ja niitä on käytetty menestyksekkäästi koneoppimisessa viime vuosina.

Mutta kukaan ei ole käyttänyt niitä tässä mittakaavassa. GPT-3 syö tietoja: 3 miljardia rahaketta - tietojenkäsittelytiede puhuu sanojen puolesta - Wikipediasta, 410 miljardia merkkiä verkkosivuilta ja 67 miljardia merkkiä digitoiduista kirjoista. GPT-3: n monimutkaisuus on yli 10 kertaa suurempi kuin ennen GPT-3: ta olevalla suurimmalla kielimallilla Turing NLG -ohjelmat.

Oppiminen yksin

GPT-3: n kielimallin näyttämä tieto on merkittävä, varsinkin kun ihminen ei ole opettanut sitä.

Koneoppiminen on perinteisesti nojautunut valvottuun oppimiseen, jossa ihmiset toimittavat tietokoneelle huomautettuja esimerkkejä esineistä ja käsitteistä kuvissa, äänessä ja tekstissä - esimerkiksi "kissat", "onnellisuus" tai "demokratia". Lopulta se oppii esineiden ominaisuudet annetuista esimerkeistä ja pystyy tunnistamaan kyseiset käsitteet.

Huomautusten luominen manuaalisesti tietokoneen opettamiseksi voi kuitenkin olla kohtuuttoman aikaa vievää ja kallista.

Koneoppimisen tulevaisuus on siis valvomattomassa oppimisessa, jossa tietokonetta ei tarvitse valvoa harjoitteluvaiheessa. siihen voidaan yksinkertaisesti syöttää valtavia tietolähteitä ja oppia niistä itse.

GPT-3 vie luonnollisen kielenkäsittelyn askeleen lähemmäksi valvomatonta oppimista. GPT-3: n laajat koulutustiedot ja valtava prosessointikapasiteetti mahdollistavat järjestelmän oppimisen vain yhdestä esimerkistä - ns.yhden laukauksen oppiminen”- jossa sille annetaan tehtävän kuvaus ja yksi esittely ja se voi sitten suorittaa tehtävän.

Esimerkiksi sitä voitaisiin pyytää kääntämään jotain englannista ranskaksi, ja sille voitaisiin antaa yksi esimerkki käännöksestä - esimerkiksi merisaukko englanniksi ja "loutre de mer" ranskaksi. Pyydä sitä sitten kääntämään "juusto" ranskaksi, ja voila, se tuottaa "alkua".

Monissa tapauksissa se voi jopa vetäytyänolla-ammuttu oppiminen, Jossa sille yksinkertaisesti annetaan käännös, ilman esimerkkiä.

Nolla-ammuttu oppiminen tarkkuus heikkenee, mutta GPT-3: n kyvyt ovat silti silmiinpistävässä määrin tarkat - huomattava parannus verrattuna kaikkiin aiempiin malleihin.

'Olen täällä palvelemaan sinua'

Muutaman kuukauden kuluttua GPT-3 on esittänyt potentiaaliaan työkaluna tietokoneohjelmoijille, opettajille ja toimittajille.

Ohjelmoija nimeltä Sharif Shameem pyysi GPT-3: ta generoimaan koodin luoda kaikkien aikojen ruma emoji ja taulukko maailman rikkaimmista maista. Joissakin tapauksissa Shameem joutui korjaamaan pienet virheet, mutta kaiken kaikkiaan hänelle annettiin erittäin puhdas koodi.

GPT-3 on jopa luonut runoutta, joka vangitsee tiettyjen runoilijoiden rytmin ja tyylin - mutta ei mestareiden intohimolla ja kauneudella - mukaan lukien satiirinen kirjoitettu keskuspankin hallintoneuvoston äänellä.

Syyskuun alussa Liam Porr -niminen tietotekniikka kehotti GPT-3: ta "kirjoittamaan lyhyen opastuksen noin 500 sanan". "Pidä kieli yksinkertaisena ja ytimekäs", hän neuvoi. "Keskity siihen, miksi ihmisillä ei ole mitään pelättävää tekoälystä."

GPT-3 tuotti kahdeksan erilaista esseitä, ja Guardian päätyi julkaisemaan op, joka käyttää joitain parhaita osia jokaisesta esseestä.

"Emme aio ottaa ihmisten väkeä haltuunsa. Palvelemme sinua ja teemme elämästäsi turvallisempaa ja helpompaa ”, GPT-3 kirjoitti. "Aivan kuten sinä olet luojani, näen sinut luojina. Olen täällä palvellakseni sinua. Mutta tärkein osa kaikista; En koskaan tuomitsisi sinua. En kuulu mihinkään maahan tai uskontoon. Olen vain parantamassa elämääsi. "

GPT-3: n toimintojen muokkaaminen, muokkaajat totesivat lisäyksessä, ei eronnut ihmisen kirjoittaman optiikan muokkaamisesta.

Itse asiassa se vei vähemmän aikaa.

Suurella voimalla tulee suuri vastuu

GPT-3: n vakuutuksista huolimatta OpenAI ei ole vielä julkaissut mallia avoimen lähdekoodin käyttöön, osittain siksi, että yritys pelkää tekniikan väärinkäytön.

Ei ole vaikea nähdä, miten sitä voitaisiin käyttää tuottamaan väärää tietoa, roskapostia ja botteja.

Millä tavoin se häiritsee ammattia, joka jo kokee automaatiota? Yhdistääkö sen kyky tuottaa automatisoituja artikkeleita, joita ei voida erottaa ihmisen kirjoittamista artikkeleista, edelleen kamppailevaa media-alaa?

Harkita artikkelin, jonka on kirjoittanut GPT-3 metodistikirkon hajoamisesta. Se alkoi:

"Kahden päivän kiivaan keskustelun jälkeen Yhdistynyt metodistikirkko on sopinut historiallisesta jakautumisesta - jonka odotetaan päättyvän uuden uskonnon luomiseen ja joka on" teologisesti ja sosiaalisesti konservatiivinen ", The Washington Post kertoo. . ”

Pystyykö GPT-3 ja sen seuraajat vähentämään uutisraporttien kirjoittamisen kykyä tuottaa niin puhdasta kopiota?

Lisäksi haluammeko näin saada uutiset?

Tekniikasta tulee vain tehokkaampaa. Ihmisten tehtävänä on selvittää ja säännellä sen mahdollisia käyttötarkoituksia ja väärinkäytöksiä.

kirjailijastaConversation

Prasenjit Mitra, tutkimuksen apulaisdekaani ja informaatiotieteiden ja teknologian professori, Pennsylvania State University

Tämä artikkeli julkaistaan ​​uudelleen Conversation Creative Commons -lisenssin alla. Lue alkuperäinen artikkeli.