Abstract
Bakgrunn
De farmasøytisk og bioteknologisk industri avhenge funnene fra akademiske etterforskere forut for oppstart programmer for å utvikle nye diagnostiske og terapeutiske midler til fordel for kreftpasienter. Suksessen til disse programmene avhenger av gyldigheten av publiserte funn. Dette gyldighet, representert ved reproduserbarhet av publiserte funn, har kommet inn i spørsmålet sent som etterforskere fra selskaper har reist spørsmålet om dårlig reproduserbarhet av publiserte resultater fra akademiske laboratorier. Videre er tilbaketrekk priser i høy innvirkning tidsskrifter klatring.
Metoder og funn
For å undersøke et mikrokosmos av akademisk erfaring med data reproduserbarhet, vi kartlagt fakultetet og traineer ved MD Anderson Cancer Center ved hjelp en anonym datastyrt spørreskjema; søkte vi å fastslå frekvensen og mulige årsaker til ikke-reproduserbare data. Vi fant at ~ 50% av respondentene hadde opplevd minst en episode av manglende evne til å reprodusere publiserte data; mange som fulgte dette opp med den originale forfatterne var aldri i stand til å identifisere årsaken til manglende reproduserbarhet; noen ble selv møtt med en mindre enn «kollegial» samhandling.
Konklusjoner
Disse resultatene tyder på at problemet med data reproduserbarhet er reell. Biomedisinsk vitenskap behov for å etablere prosesser for å redusere problemet og avgjøre avvik i resultatene når de blir oppdaget
Citation. Mobley A, Linder SK, Braeuer R, Ellis LM, Zwelling L (2013) En undersøkelse på data reproduserbarhet i Cancer Research gir innsikt i vår begrensede evne til å omsette Funn fra laboratoriet til klinikken. PLoS ONE 8 (5): e63221. doi: 10,1371 /journal.pone.0063221
Redaktør: Hirofumi Arakawa, National Cancer Center Research Institute, Japan
mottatt: 25 februar 2013; Godkjent: 29 mars 2013; Publisert: May 15, 2013
Copyright: © 2013 Mobley et al. Dette er en åpen-tilgang artikkelen distribueres under betingelsene i Creative Commons Attribution License, som tillater ubegrenset bruk, distribusjon og reproduksjon i ethvert medium, forutsatt den opprinnelige forfatteren og kilden krediteres
Finansiering:. Forfatterne har ingen støtte eller finansiering for å rapportere
konkurrerende interesser:.. forfatterne har erklært at ingen konkurrerende interesser eksisterer
Innledning
fremme av grunnleggende og translasjonsforskning er avhengig av gyldigheten og reproduserbarhet av funnene som er publisert i den vitenskapelige litteraturen. Farmasøytisk og bioteknologisk industri er avhengig av disse grunnleggende vitenskap resultatene fra akademia som grunnlag for utforming av programmene med ny kreftbehandling og /eller biomarkører. I tillegg basalforskere og deres traineer bruke disse innledende observasjoner som grunnlag for deres fremtidige forskningsprosjekter.
Flere nyere publikasjoner foreslått at de forutgående funn fra akademiske laboratorier kan kun kopieres 11-50% av tiden [ ,,,0],1], [2]. Mangelen på data reproduserbarhet bidrar trolig til vanskeligheter med å raskt utvikle nye medisiner og biomarkører som i vesentlig grad påvirker livene til pasienter med kreft og andre sykdommer.
Nylig, New York Times publiserte en artikkel om fremveksten av inntrukket papirer i de siste årene sammenlignet med tidligere tiår [3]. Artikkelen sier at dette større antall kan rett og slett være et resultat av økt tilgjengelighet og dermed gransking av tidsskriftartikler på grunn av nettilgang. Alternativt artikkelen fremhevet at økningen i retractions kan skyldes noe mye verre; misbruk av etterforskere sliter med å overleve som forskere i løpet av en tid med knappe midler. Denne sistnevnte forklaringen er støttet av en annen undersøkelse, noe som antydet at den mest utbredte årsaken til tilbaketrekkingen er misbruk. I sin gjennomgang av alle tilbaketrukne artikler indeksert i Pubmed (over 2000 artikler) disse forfatterne oppdaget at 67,4% av tilbaketrukne artikler hadde blitt trukket tilbake på grunn av misbruk [4]. Uavhengig av årsakene til de uforklarlige data, disse unøyaktige funnene kan koste det vitenskapelige samfunn, og de pasientene som teller om sitt arbeid, tid, penger, og enda viktigere, en mulighet til å identifisere effektive behandlingsformer og biomarkører basert på lyd preklinisk arbeid.
Denne bekymringen om data reproduserbarhet er basert på enten relativt små prøver hvor ikke-reproduserbarhet er dokumentert (1) eller store oversikter over biomedisinsk litteratur. Direkte målinger av en stor gruppe å jobbe akademiske forskere om deres erfaringer reproduserende publiserte resultatene har ikke vært foretatt.
Vi utviklet en enkel undersøkelse for å teste om trender rapportert i de ovenfor refererte manuskripter representerer meninger og opplevelser av lærere og lærlinger på en enkelt institusjon, University of Texas MD Anderson Cancer Center. Det var tre hovedmålene i denne studien: 1) for å anslå hvor ofte fakultetet og traineer møter vanskeligheter med å gjenta de banebrytende funn (hovedpunkter av papiret) fra publiserte resultater i vitenskapelig litteratur, 2) å bestemme responsen fra lærere og lærlinger når de ikke kan reprodusere resultatene publisert i en peer-reviewed manuskript, og 3) å bestemme hvilke faktorer ligger til grunn for trender identifisert i vår undersøkelse.
Metoder
Vi utviklet en 20- element anonym undersøkelse at spørsmål knyttet til erfaringer med å reprodusere resultatene fra fagfellevurderte publiserte manuskripter blant MD Anderson fakultetet og traineer. Etter generelle spørsmål til alle respondentene ble besvart, ble traineer (høyeregradsstudenter og postdoktorer) spurte en ekstra 8 spørsmål om deres oppfattede miljø press for å publisere un-validerte eller mistenkelige funn fra egne laboratoriestudier. I september 2012 ble fakultetet og traineer sendt en invitasjon til å delta. En påminnelse e-post ble sendt ut en uke før den elektroniske undersøkelsen ble lukket. For å sikre inkludering, inviterte vi alle University of Texas MD Anderson Cancer Center lærere og lærlinger til å delta. E-postinvitasjonen gitt en link til studien som inkluderte en samtykke erklæring, beskrivelse av studien, og undersøkelsen elementer. Denne studien og spørreskjema ble godkjent av University of Texas MD Anderson Cancer Center Institutional Review Board.
Resultater
I vår undersøkelse av lærere og lærlinger ved MD Anderson Cancer Center, fant vi flere signifikante funn som ga innsikt om data reproduserbarhet, selv om svarprosenten, representert mindre enn 20% av de spurte (samlet svarprosent på 14,75% (171/1159) for lærlinger og 17,16% (263/1533) for fakultetet). På spørsmål om etterforskerne hadde prøvd å gjenskape et funn fra en publisert artikkel og ikke vært i stand til å gjøre det, 54,6% (237/434) av alle respondentene sa at de hadde, med 58,5% (154/263) av lærere som har opplevde den manglende evne til å reprodusere data, og 48,5% (83/171) av kandidater som har den samme erfaring (tabell 1). Av notatet, ble noen av de ikke-repeterbare data publisert i kjente og respekterte tidsskrifter inkludert flere high impact tidsskrifter (innvirkning faktor 20).
Ved å finne resultater fra et papir som ikke kunne gjentas oppstår spørsmålet; «Hva du skal gjøre med det selvmotsigende data?» Når respondentene ble spurt om de kontaktet forfatterne av forskning papir, 78% (71/91) sa at de hadde, men de endelige resultatene av den kontakten var veldig blandet (tabell 1 ). 38,5% (25/65) av de som svarte på dette spørsmålet uttalt at de fikk en positiv eller nyttig respons fra forfatterne, mens 43% (28/65) fikk en negativ eller likegyldig svar; 18,5% (12/65) fikk ingen respons i det hele tatt (tabell S4). Totalt sett, bare 33,3% av respondentene var aldri i stand til å forklare eller løse sine avvikende funn. Dette innebærer at 66,7% av motstridende resultater mellom forskningsgrupper ikke ble løst gjennom kommunikasjon med forfatterne av den opprinnelige publikasjonen (tabell 1). Når etterforskerne prøvde å publisere resultater som motsa de som finnes i den publiserte litteraturen, 43,8% (28/64) svarte at de opplevde vanskeligheter, og bare 33,3% (66/198) sa at de var aldri i stand til å ha sine resultater publisert. Men bare 17,6% (12/68) av traineer og 28,9% (13/45) av junior fakultetet publiserte sine motstridende data. En større andel av senior fakultetet, 48,2% (41/85), uttalte at de var i stand til å publisere sine motstridende funn.
De underliggende faktorene som driver denne trenden av ikke-reproduserbare data kan ligge i selve systemet . Når traineer ved institusjonen ble spurt om de noen gang hadde følt presset til å bevise mentorer «hypotese, selv når de data som trainee genererte ikke støtter det, 31,4% rapporterte at de hadde følt seg presset (tabell 2). Videre 18,6% av traineer sa at de hadde blitt presset til å publisere funnene om de hadde tvil. I tillegg, når du blir spurt om de var klar over mentorer som krevde en stor innvirkning journal publisering før en trainee kan fullføre sin opplæring i laboratoriet av sin mentor, 48,9% (68/139) rapporterte at de var klar over dette kravet.
Diskusjoner
data~~POS=TRUNC reproduserbarhet er grunnleggende i arbeidet med å fremme biomedisinsk forskning som til slutt vil påvirke livene til pasientene. Hvis de første pre-kliniske resultatene er ikke pålitelige eller reproduserbare, er kliniske studier basert på disse funnene dømt til å mislykkes. Vi laget denne undersøkelsen for å finne ut akkurat hvor mye av et problem data reproduserbarhet er, med fokus på etterforskere i en enkelt institusjon. De viktigste målene for vår undersøkelse var å vurdere frekvens, respons, og konsekvensene av manglende data reproduserbarhet. Vi sendte undersøkelsen til alle lærere og lærlinger identifisert i en database på MDACC. Det faktum at 20% av personellet svarte er sannsynligvis på grunn av problemer knyttet til en) mange spørres ikke var laboratorie etterforskere, og 2) mangel på tro at svarene skulle være anonym, til tross for at denne informasjonen er inkludert i e-posten søket
Vi identifiserte at over halvparten av etterforskere har hatt minst en opplevelse av ikke å kunne validere tidligere rapporterte data. Dette funnet er svært alarmerende som vitenskapelig kunnskap og utvikling er basert på fagfellevurderte publikasjoner, selve grunnlaget for tilgang til «antatt» kunnskap. Dersom nyskapende funn fra et forskningsprosjekt manuskriptet ikke er reproduserbare, konsekvensene er mange. Noen mistenke funn kan føre til utvikling av hele narkotika utvikling eller biomarkør programmer som er dømt til å mislykkes. Som det fremgår av vår undersøkelse, vil noen mentorer fortsette å forfølge sine hypoteser basert på upålitelige data, presse traineer til å publisere sin egen mistanke data, og spre vitenskapelige «myter». Dessverre, når forfattere ble kontaktet, nesten halvparten svarte negativt eller likegyldig. Når data blir publisert, må forfatterne være fullt ut ansvarlig for sin integritet, og dermed må være forberedt på å diskutere sine funn og hjelpe etterforskerne å feilsøke eksperimenter når andre ikke er i stand til å reprodusere sitt arbeid. Vår undersøkelse gir også innsikt om press for å publisere for å opprettholde en nåværende stilling eller å fremme de vitenskapelige karriere. Nesten en tredel av alle traineene følte press for å bevise en mentor hypotese selv når data ikke støtter det. Dette er en uheldig dilemma, som ikke bevise en hypotese kan feiltolkes av veilederen som ikke vet hvordan du skal utføre vitenskapelige eksperimenter. Videre er mange av disse traineer besøker forskere fra utenfor USA som er avhengige av sine traineestillinger for å opprettholde visum status som påvirker dem selv og deres familier i vårt land. Denne uttalelsen ble observert på «kommentarer» i undersøkelsen, og det var et funn som ga innsikt i de vidtrekkende konsekvensene av presset til å publisere. Andre kommentarer avdekke en rekke bekymringer fra ulike individer som kan føre til ureproduserbarhet (tabell S11).
Vår undersøkelse tar for seg erfaringer og synspunkter (Tabeller S1, S2, S3, S4, S5, S6, S7 , S8, S9, S10, S11) av etterforskere ved en kreftsenter. Likevel, vår studie støtter sterkt tidligere bekymringer om data reproduserbarhet og virkningen på feltet generelt, samt den personlige toll på enkeltpersoner. Manglende evne til å validere publiserte data er reell og vår undersøkelse og tilhørende kommentarer viser at problemet med data reproduserbarhet stammer fra en rekke årsaker, mest å være akademisk forventning av etterforskere på alle nivåer. Faktisk en fersk publikasjon vist at retractions er mer vanlig i high impact tidsskrifter i forhold til mindre siterte tidsskrifter [5]. Men årsakene til denne observasjonen er sannsynligvis multifaktoriell.
En metode for å korrigere problemet var tema for en fersk perspektiv artikkel hvor forfatterne foreslo strammere standarder for beskrivelser av metoder og inkludering en universell rapportering standard, som bør omfatte randomisering og blinding av etterforskerne [6]. En annen fersk kommentar på integritet i laboratorieforsøk fremhever problemet med data forfalskning og gir innsikt i hvordan laboratorie ledere kan unngå misbruk fra de som arbeider under deres tilsyn [5]. I tillegg til å redusere skjevhet fra tidsskrift redaktører eller lesere, en strengere vurderingsprosessen og høyere standarder for publisering kan bidra til å løse problemet. Selv om disse forslagene kan være en start mot å identifisere den riktige løsningen, implementere disse endringene er utfordrende. Endringer i «systemet» vil kreve en felles innsats av tidsskriftredaktører, rektor etterforskere, praktikanter, institusjoner, virkemiddelapparatet og publikum. Selv om dette virker som en skremmende oppgave, har vi ikke annet valg enn å ta det -. Livene til våre pasienter er avhengige av det
Hjelpemiddel Informasjon
Tabell S1.
Tilleggsspørsmål til alle respondentene
doi:. 10,1371 /journal.pone.0063221.s001 plakater (docx)
Tabell S2. .
Tilleggs trainee bare spørsmål
doi: 10,1371 /journal.pone.0063221.s002 plakater (docx)
tabell S3.
Hvis du hadde et problem å reprodusere et funn fra en publisert artikkel, der journalen ble funn rapportert
doi: 10,1371 /journal.pone.0063221.s003 plakater (docx)
Tabell S4.
Når du kontaktet forfatteren hvordan din henvendelse ble mottatt
doi: 10,1371 /journal.pone.0063221.s004 plakater (docx)
Tabell S5.
Hvis du ikke har kontakt med forfatterne av den opprinnelige funn, hvorfor ikke
doi: 10,1371 /journal.pone.0063221.s005 plakater (docx)
Tabell S6.
Hvordan var forskjellene mellom publiserte data og data løst
doi: 10,1371 /journal.pone.0063221.s006 plakater (docx)
Tabell S7.
Hvis du ikke prøve å publisere, hvorfor ikke
doi: 10,1371 /journal.pone.0063221.s007 plakater (docx)
Tabell S8.
Hvis du noen gang har følt seg presset til å publisere funnene som du hadde tvil, deretter av hvem (mentor, lab sjef, mer avanserte post-doc, annet)
doi: 10,1371 /journal.pone.0063221.s008 product: (DOCX)
Tabell S9.
Kommentarer om hvor presset til å publisere tvilsomme funn kom fra
doi:. 10,1371 /journal.pone.0063221.s009 plakater (docx)
Tabell S10.
Hvis du utfører et eksperiment 10 ganger, hvor mange prosent av tiden må følge være konsekvent for laboratoriet å anser det reproduserbar
doi: 10,1371 /journal.pone.0063221.s010 plakater (docx)
Tabell S11.
Er det noen tilleggskommentarer som du ønsker oss til å vurdere når vi analyserer resultatene av denne undersøkelsen
doi: 10,1371 /journal.pone.0063221.s011 plakater (docx)
