Ymmärtääkseen, onko sairauden uusi hoito todella parempi kuin vanhemmat hoidot, lääkärit ja tutkijat tarkastelevat parasta saatavilla olevaa näyttöä. Terveydenhuollon ammattilaiset haluavat "viimeisimmän sanan" todisteissa, jotta voidaan ratkaista parhaat hoitomuodot.

Mutta kaikki lääketieteelliset todisteet eivät ole yhtäläisiä. Ja on olemassa selkeä todisteiden hierarkia: asiantuntijalausunto ja yksittäisiä tapahtumia koskevat tapauskertomukset ovat alimmalla tasolla, ja hyvin toteutetut satunnaistetut kontrolloidut tutkimukset ovat lähellä yläreunaa. Tämän hierarkian yläosassa ovat meta-analyysit - tutkimukset, jotka yhdistävät saman kysymyksen esittäneiden useiden tutkimusten tulokset. Ja hyvin, hyvin tämän hierarkian yläosassa ovat meta-analyysit, jotka suorittaa ryhmä, jota kutsutaan nimellä Cochrane-yhteistyö.

Jotta Cochrane Collaborationin jäsenet olisivat mukana, yksittäisten tutkijoiden tai tutkimusryhmien on noudatettava hyvin tiukkoja ohjeita siitä, miten meta-analyysit on raportoitava ja suoritettava. Siksi Cochrane-arvioita pidetään yleensä parhaina meta-analyyseinä.

Kukaan ei ole kuitenkaan koskaan kysynyt, ovatko Cochrane Collaborationin tekemien meta-analyysien tulokset erilaiset kuin muista lähteistä saadut meta-analyysit. Teoriassa, jos verrattaisiin Cochrane- ja ei-Cocrhane-meta-analyysiä, jotka molemmat julkaistiin samassa ajassa, olet todennäköisesti odottanut, että he olisivat valinneet samat tutkimukset analysoitaviksi ja että niiden tulokset ja tulkinta lisäävät tai vähemmän ottelussa.

Tiimimme Bostonin yliopiston kansanterveyskoulussa päätti selvittää. Ja yllättävää, se ei ole mitä löysimme.

Mikä on meta-analyysi?

Kuvittele, että sinulla on viisi pientä kliinistä tutkimusta, jotka kaikki havaitsivat yleisesti myönteisen hyödyn, sanotaan, ottaa aspiriinia sydänkohtausten estämiseksi. Mutta koska kussakin tutkimuksessa oli vain pieni määrä oppiaineita, kukaan ei voinut varmasti todeta, että hyödylliset vaikutukset eivät olleet pelkästään sattuman vuoksi. Tilastollisessa puheessa tällaisia ​​tutkimuksia pidettäisiin ”alikuntoisina”.

Näillä tutkimuksilla on hyvä tapa lisätä tilastollista voimaa: yhdistää nämä viisi pienempää tutkimusta yhteen. Sitä meta-anaysis tekee. Useiden pienten tutkimusten yhdistäminen yhteen analyysiin ja näiden tutkimusten keskiarvo voi joskus kärjistää mittakaavoja ja antaa lääketieteelliselle yhteisölle tietää varmasti, onko tietty interventio toimii vai ei.

Meta-analyysit ovat tehokkaita ja halpoja, koska ne eivät vaadi uusien kokeiden suorittamista. Pikemminkin sen on löydettävä kaikki jo julkaistut asiaankuuluvat tutkimukset, ja tämä voi olla yllättävän vaikeaa. Tutkijoiden on oltava etsinnässä pysyviä ja menetelmällisiä. Tutkimusten etsiminen ja päättäminen siitä, ovatko ne tarpeeksi hyviä luottamaan, on tämän tieteen taiteen ja virheen kriittinen ongelma.

Se on itse asiassa merkittävä syy siihen, miksi Cochrane Collaboration perustettiin. Terveyspalvelujen tutkija Archie Cochrane tunnusti meta-analyysien voiman, mutta myös valtavan tärkeän tehdä niitä oikein. Cochrane Collaborationin meta-analyyseissä on noudatettava erittäin korkeita avoimuus- ja metodologisia vaatimuksia ja toistettavuutta.

Valitettavasti harvat voivat tehdä aikaa ja vaivaa liittyä Cochrane-yhteistyöhön, ja tämä tarkoittaa sitä, että valtaosa meta-analyyseistä ei toteudu yhteistyössä, eikä niiden tarvitse noudattaa standardejaan. Mutta onko tämä todella merkitystä?

Kuinka erilaiset voivat olla kaksi meta-analyysia?

Selvittääksemme aloitimme tunnistamalla 40-paria meta-analyysejä, joista toinen oli Cochraneista ja yksi ei, joka kattoi saman toimenpiteen (esim. Aspiriini) ja lopputuloksen (esim. Sydänkohtaukset), ja verrattiin niitä ja verrattiin niitä.

Ensinnäkin huomasimme, että lähes 40-prosenttiosuus Cochrane- ja ei-Cochrane-meta-analyyseistä oli eri mieltä niiden alarivin tilastollisista vastauksista. Tämä tarkoittaa sitä, että esimerkiksi tyypilliset lukijat, lääkärit tai terveyspoliittiset päättäjät tulisivat esittämään pohjimmiltaan erilaisen tulkinnan siitä, oliko väliintulo tehokas vai ei, riippuen siitä, mitkä meta-arvot he lukivat.

Toiseksi nämä erot näyttivät olevan järjestelmällisiä. Ei-Cochrane-katsaukset osoittivat keskimäärin, että niiden testaamat interventiot olivat tehokkaampia, todennäköisemmin parantavat tilaa tai ehkäisivät joitakin lääketieteellisiä komplikaatioita kuin ehdotetut Cochrane-arviot. Samaan aikaan ei-Cochrane-katsaukset eivät olleet tarkkuutta tarkempia, mikä merkitsi sitä, että oli todennäköisempää, että havainnot johtuivat pelkästään sattumasta.

Meta-analyysi on vain komponenttien tutkimusten painotettu keskiarvo. Olimme yllättyneitä siitä, että noin 63 prosenttiosuus mukana olevista tutkimuksista oli ainutlaatuinen yhdelle tai toiselle meta-analyysiryhmälle. Toisin sanoen, huolimatta siitä, että molemmat meta-analyysit luultavasti etsivät samoja papereita käyttäen samankaltaisia ​​hakukriteereitä samankaltaisena ajanjaksona ja samankaltaisista tietokannoista, vain noin kolmasosa näistä asiakirjoista mukana olivat samat.

Vaikuttaa todennäköiseltä, että useimmat tai kaikki näistä eroista johtuvat siitä, että Cochrane vaatii tiukempia kriteerejä. Meta-analyysi on vain yhtä hyvä kuin sen sisältämät tutkimukset, ja huonon tutkimuksen keskiarvo voi johtaa huonoon tulokseen. Kuten sanotaan, "roskat, roskat ulos."

Mielenkiintoista on, että analyysit, jotka ilmoittivat paljon korkeammasta tehokkuudesta, saivat toisaalta uudelleen mainita muissa asiakirjoissa paljon korkeammalla nopeudella kuin alhaisemman tehokkuuden analyysit. Tämä on tilastollinen suoritusmuoto vanhasta journalistisesta sanomasta "Jos se vuotaa, se johtaa." Suuret ja rohkeat vaikutukset saavat enemmän huomiota kuin tulokset, jotka osoittavat marginaalisia tai epäselviä tuloksia. Lääketieteellinen yhteisö on loppujen lopuksi vain ihminen.

Miksi tämä asia?

Tärkein taso osoittaa, että Archie Cochrane oli täysin oikea. Metodologinen johdonmukaisuus ja täsmällisyys ja avoimuus ovat välttämättömiä. Ilman sitä on olemassa riski, että jotakin toimii, kun se ei ole, tai jopa vain ylittämällä etuja.

Mutta korkeammalla tasolla tämä osoittaa meille jälleen kerran, kuinka hyvin vaikeaa on luoda lääketieteellisen kirjallisuuden yhtenäinen tulkinta. Meta-analyysejä käytetään usein lopullisena sanana tietyllä aihealueella epäselvyyden välittäjinä.

On selvää, että tätä roolia haastaa se, että kaksi metaanalyysia, jotka näennäisesti ovat samaan aiheeseen, voivat johtaa erilaisiin päätelmiin. Jos tarkastelemme meta-analyysia ”kulta-standardina” nykyisessä ”todisteisiin perustuvassa lääketieteessä”, miten keskimääräinen lääkäri tai päättäjä tai jopa potilas reagoi, kun kaksi kultaista standardia ovat ristiriidassa keskenään? Caveat emptor.

Author

Christopher J. Gill, apulaisprofessori, maailmanlaajuisen terveyden osasto; Tartuntatautien erikoislääkäri, Bostonin yliopisto.

Tämä artikkeli julkaistiin alunperin Conversation. Lue alkuperäinen artikkeli.

Aiheeseen liittyvä kirja:

at InnerSelf Market ja Amazon