PLoS ONE: Intra-Rater og Inter-rater reliabilitet av en pasientjournal Abstraction Study på Overgang av Care etter Kreft

Abstract

Bakgrunn

abstraksjon av data fra medisinske poster er en utbredt praksis i epidemiologisk forskning. Men studier med dette middel for datainnsamling sjelden rapportere pålitelighet. Innenfor Transition etter Childhood Cancer Study (TaCC) som er basert på en medisinsk post abstraksjon, gjennomførte vi en ny uavhengig abstraksjon av data med sikte på å vurdere a) intra-rater påliteligheten til en rater på to tidspunkter; b) de mulige læringseffekter mellom disse to tidspunktene i forhold til en gull-standard; og c) inter-rater reliabilitet.

Metode

Innenfor TaCC undersøkelser vi gjennomfører en systematisk journal abstraksjon i de 9 sveitsiske klinikker med pediatriske kreftavdelinger. I en annen fase valgt vi en subsample av medisinske poster i 3 klinikker for å gjennomføre en andre uavhengige abstraksjon. Vi så vurdert intra-rater reliabilitet på to tidspunkter, læringseffekten over tid (sammenligne hver rater på to tidspunkter med en gull-standard) og inter-rater reliabilitet av et valgt antall variabler. Vi beregnet prosentvis enighet og Cohens kappa

Funn

For vurderingen av intra-rater reliabilitet vi inkludert 154 poster (80 for rater 1, 74 for rater 2).. For den inter-rater reliabilitet kan vi inkludere 70 poster. Intra-rater reliabilitet var betydelig til utmerket (Cohens kappa 0-6-0.8) med et observert prosentavtale på 75% -95%. I alle variabler ble observert læringseffekter. Inter-rater reliabilitet var betydelig til utmerket (Cohens kappa 0,70 til 0,83) med høy avtalen strekker seg fra 86% til 100%.

Konklusjoner

Vår studie viste at data abstrahert fra medisinske poster er pålitelige . Gransker intra-rater og inter-rater reliabilitet kan gi tillit til å trekke konklusjoner fra abstrahert informasjon og bli bedre datakvalitet ved å minimere systematiske feil

Citation. Gianinazzi ME, Rueegg CS, Zimmerman K, Kuehni CE, Michel G , den sveitsiske Pediatrisk Oncology Group (SPOG) (2015) Intra-Rater og Inter-rater reliabilitet av en pasientjournal Abstraction Study på Overgang av Care etter Kreft. PLoS ONE 10 (5): e0124290. doi: 10,1371 /journal.pone.0124290

Academic Redaktør: Keitaro Matsuo, Kyushu-universitetet fakultet Medical Science, JAPAN

mottatt: 02.12.2014; Godkjent: 05.03.2015; Publisert: 22 mai 2015

Copyright: © 2015 Gianinazzi et al. Dette er en åpen tilgang artikkelen distribueres under betingelsene i Creative Commons Attribution License, som tillater ubegrenset bruk, distribusjon og reproduksjon i ethvert medium, forutsatt den opprinnelige forfatteren og kilden krediteres

Data Tilgjengelighet: All relevant data er innenfor papir

Finansiering:. Dette arbeidet ble støttet av den sveitsiske National Science Foundation (Ambizione tilskudd PZ00P3_121682 /1 og PZ00P3-141722 til GM); Swiss Cancer League (tilskudd KLS-01605-10-2004, KLS-2215-02-2008, KFS-02631-08-2010, KLS-02783-02-2011); Kreft League Bern; og Stiftung zur Krebsbekämpfung. Arbeidet med den sveitsiske barndommen Kreftregisteret er støttet av den sveitsiske Pediatrisk Oncology Group (www.spog.ch), Schweizerische Konferenz der kantonalen Gesundheitsdirektorinnen und -direktoren (www.gdk-cds.ch), sveitsiske Cancer Research (www.krebsforschung. lm), Kinderkrebshilfe Schweiz (www.kinderkrebshilfe.ch), Ernst-Göhner Stiftung, Stiftung Domarena, og National Institute of Cancer Epidemiology og registrering (www.nicer.ch). Finansiører hadde ingen rolle i studiedesign, datainnsamling og analyse, beslutning om å publisere, eller utarbeidelse av manuskriptet

Konkurrerende interesser:.. Forfatterne har erklært at ingen konkurrerende interesser eksisterer

Innledning

abstraksjon av data fra pasientenes journaler (MR) er en utbredt praksis i epidemiologisk forskning, spesielt i retrospektive studier [1-3]. Ofte er imidlertid påliteligheten og indre gyldigheten av slike data er tvilsom. Dette har flere grunner. For det første, data skrevet i MR ikke har blitt produsert for forskningsformål og adequateness av slike data for studiens problemstilling må tas opp [2]. Dernest, dårlig pålitelighet på grunn av den potensielle intra og inter-rater varians begrenser indre validiteten av resultatene. Dette gjelder særlig for multisenter studier hvor flere raters er involvert, datainnsamling forholdene varierer, MR formater avvike opplysningene kommer fra ulike tidsperioder, og datainnsamlingen gir rom for tolkning [1]. Av denne grunn er det viktig å rapportere påliteligheten til slike studier. Videre kan dette bidra til å forbedre innsamlingsprosessen, for å redusere og korrigere problemer eller avvik, og senere for å få tillit i konklusjonene som blir trukket [4]. Til tross for viktigheten av å rapportere slike tiltak, kun få studier faktisk gjøre det [2,4-8]. Generelt publisert retrospektive chart vurderinger som vurderes pålitelighet rapport gode pålitelighetsnivåer for sine abstraherte data, men vi må huske at publikasjonsskjevhet kan være et problem i denne typen studier med bare studier med positive resultater blir publisert.

prosjektet «Transition etter Kreft (TaCC)» har som mål å vurdere overgangen fra barn til voksen av barndommen kreft overlevende i Sveits ved å samle inn data fra MR i ni klinikker og i tre språkområdene. Fordi ingen tidligere studie vurderes overgang ved hjelp av en systematisk diagram anmeldelse for datainnsamling hadde vi å utvikle og pilot en abstraksjon skjema basert på tilgjengelig litteratur og prosjektet har som mål. Av disse grunner har vi funnet det viktig å vurdere påliteligheten av innsamlede data ved å undersøke a) intra-rater reliabilitet av to raters på to tidspunkter; b) de mulige læringseffekter over tid sammenligne hver rater til en gullstandard på to tidspunkter; og c) inter-rater reliabilitet.

Metoder

Etikk uttalelse

Etikk godkjenning ble gitt gjennom den generelle register kreft tillatelse fra den sveitsiske Childhood Kreftregisteret (The Swiss Federal Commission Ekspert for Taushetsplikt i medisinsk forskning) og en ikke obstat uttalelse ble innhentet fra etisk komité i kantonen Bern, om at ingen ekstra etikk tillatelse og uten ekstra informert samtykke var nødvendig. All informasjon om personer ble anonymisert etterforskerne før analysen.

Study befolkningen

«Transition etter Kreft (TaCC)» Studien er en retrospektiv multisenterstudie utført innenfor populasjonsbasert Swiss Childhood Kreftregisteret (SCCR). For nesten fire tiår SCCR data på alle pasienter diagnostisert med leukemi, lymfom, sentralnervesystemet (CNS) svulster, ondartede solide tumorer eller Langerhans celle histiocytose før fylte 21 år [9,10] har vært å samle. Den TaCC Studien inkluderte en lagdelt (ved diagnose og behandling klinikk) tilfeldig utvalg av pasienter som er registrert i SCCR, som ble diagnostisert med kreft hos barn i en alder mellom 0 og 15 år, som overlevde ≥ 5 år og var i alderen ≥16 år på tidspunktet for denne studien.

Første datainnsamling for TaCC studien

Innenfor TaCC undersøkelser vi gjennomfører en systematisk MR abstraksjon på 9 klinikker med pediatriske kreftavdelinger i hele Sveits (alle klinikker var tilknyttet til den sveitsiske Pediatrisk Oncology Group). Datainnsamlingen startet i mars 2012 og ble avsluttet i april 2013. For datainnsamling vi benyttet et standardisert abstraksjon skjema på papirkopi, som vi utviklet ved hjelp av tilgjengelig litteratur på chart anmeldelser [11]. Som foreslått av retningslinjene, testet vi abstraksjon form i tre av de ni klinikker, før selve data abstraksjon startet. Vi samlet inn data om følgende hovedkategorier: Hyppigheten av oppfølgingsbesøk etter fylte 16 år, medisinske fagfolk er involvert, utflod (pasienten utskrevet fra pediatrisk onkologi uten å bli overført), dato for utslipp, utslipp planlagt, dato for planlagt utskrivning, overføring (pasient overført fra pediatrisk onkologi til en voksen lege), overføring destinasjon, dato for overføring, savnet oppfølging avtaler (pasienten ikke gå til et besøk). Vi digitalt fotografert alle relevante dokumenter som «back up» og lagret dem på sikre servere. Etter datainnsamling, brukte vi EpiData 3.1 å legge inn våre data i en database. All baseline demografiske eller klinisk informasjon var direkte hentet fra SCCR databasen.

Prøve for pålitelighet vurdering

Antall re-abstraksjoner vi gjennomført var basert på antall medisinske diagrammer tilgjengelig som inneholder informasjon om variablene som skal ekstraheres, samt på elle prøvestørrelsesberegninger for kappa-statistikken [12]. Ved hjelp av alfa og beta feilrater på 0,05 og 0,2, henholdsvis ved testing for en statistisk forskjell mellom moderat (dvs. 0,40) og høy (dvs. 0,75) kappa verdier, sample size estimatene varierte 77-28 når trekket prevalens var variert mellom 10% og 50%. Dermed våre utvalgsstørrelsene for intra-rater reliabilitet og inter-rater gitt den nødvendige makt til å oppdage forskjeller. Vi valgte alle medisinske poster som ikke har noen manglende verdier i variablene under etterforskning. Vi gjennomførte re-abstraksjon i de tre første klinikkene i samme språk region

Re-abstraksjon

For re-abstraksjon vi fokusert utelukkende på de viktigste variablene, nemlig:. Variablene «fortsatt i pediatrisk oppfølging (ja, nei)», «overført (ja, nei)», «utladet (ja, nei)», «transfer mål» (allmennlege, voksen onkolog, annen spesialist), og datoen variabler «overdragelsestidspunktet», «date utslipp» og «dato for neste besøk i pediatrisk onkologi» (tabell 1).

Medisinsk posten

raters

Tre studie raters ble valgt til å utføre abstraksjon i de ulike klinikkene basert på deres språkkunnskaper (de måtte være dyktige i alle nasjonale språk) og på deres utdanningsnivå. Alle raters holdt en grad på masternivå, en i pedagogikk /psykologi, den andre i samfunnsfag og den tredje i biologi. Ingen av de raters hadde klinisk erfaring, som vi tro var ikke nødvendig for formålet med denne abstraksjon. En av disse tre raters (Master i biologi) hadde sluttet forskerteamet senere og ble derfor ekskludert fra pålitelighet studien.

Begge raters inkludert i pålitelighet studien ble trent før datainnsamling for de viktigste begrepene vurderes i TaCC studien. For å måle intra-rater reliabilitet 2 raters abstrahert en valgt utvalg av medisinske poster på to punkter i tid. Begge raters ikke har tilgang til resultatene samles på tidspunktet 1.

For å undersøke mulige læringseffekter mellom tidspunkt 1 og tidspunkt 2, prosjektleder (MEG) også abstrahert data for de samme pasientene. Disse dataene ble regnet som gullstandarden og resultatene av de to raters på tidspunkt 1 og 2 var enn sammenlignet mot gullstandarden. For å vurdere inter-rater reliabilitet 2 raters uavhengig abstraherte data med samme forsøkspersonene på tidspunkt 2.

Statistisk analyse

Vi utførte alle analyser ved hjelp av Stata 12,0 (StataCorp, College Station, TX ). Vi først beregnet i prosent avtale, dvs. andelen av vurderinger hvor de to observasjonene er avtalt, Cohen kappa og Forekomst-Justert bias-Justert Kappa (PABAK) for alle variable i intra-rater og inter-rater sammenligning [13]. For intra-rater pålitelighetsanalyse presenterer vi resultater per rater når det er mulig. For å vurdere mulig læringseffekter mellom tidspunkt 1 og tidspunkt 2, beregnet vi Cohens kappa mellom data som samles inn av hver rater på to punkter i tid og data samlet inn av prosjektleder MEG (gullstandard).

Cohens Kappa og Justert Kappa

Kappa indikerer en numerisk vurdering av graden av enighet mellom to raters, tar hensyn til grad av enighet som kan forventes ved en tilfeldighet. Beregningen av Cohens kappa er basert på forskjellen mellom avtalen som faktisk er til stede (Pr

a) og avtalen oppnås ved en tilfeldighet alene (Pr

e) (formel 1) [14]. Kappa verdier varierer fra 0 til 1 med 0 som betyr «mindre enn sjansen avtale» og en «nesten perfekt avtale».

(Formel 1)

Formel 1, men tar ikke hensyn til skjevhet mellom observatører (den omfanget av uenighet) eller distribusjon av data på tvers av kategorier som er brukt (prevalens). Følgende eksempel viser hvordan identisk avtalen kan føre til ulike koeffisientene kappa på grunn av forskjellig utbredelsen av data på tvers av kategoriene

I begge tabellene 2 og 3 er det lik avtale (60 fra ja og nei. 25 35 og 45 + 15). Men hvis vi bruker Formel 1 for å beregne Cohens kappa vi vil ende opp med forskjellige resultater (K ​​

1 = 0,1304 og K

2 = 0,2593). Denne forskjellen i resultater oppstår på grunn av ulik fordeling av data i 2×2 celler (den såkalte prevalens) [12].

Tolkningen av kappa alene uten noen indikasjon på utbredelsen eller skjevhet kan være upresis. For å overvinne dette problemet er blitt foreslått en alternativ form av kappa som tar hensyn til både forspenningen og utbredelsen [15]. Dette er oppsummert i det Utbredelse-Justert Bias-Justert Kappa (PABAK). PABAK gir andelen av avtalen utover forventet sjanse avtalen uavhengig av ubalanserte datamønstre. Tolkningen av PABAK er den samme som for kappa. Hvis vi ser på en 2×2 tabell som den i tabell 4, er PABAK beregnet som i Formel 2. product: (formel 2)

Tolkning av Cohens kappa

Å tolke vår resultat vi brukte som benchmark cut-off foreslått av Landis og Koch [16] i henhold til hvem Cohens Kappas ≥ 0,80 representere god avtale, koeffisienter mellom 0,61 og 0,80 representerer betydelig avtale, koeffisienter mellom 0,41 og 0,61 moderat enighet og 0,41 rettferdig til dårlig avtale.

Resultater

Prøve

den endelige analysen inkluderte 154 poster for vurdering av intra-rater reliabilitet. Av disse hadde 80 blitt sett av rater 1 og 74 av rater 2. Gjennomsnittlig tid mellom første (tidspunkt 1) og andre abstraksjon (tidspunkt 2) var 7,6 måneder (SD = 2,2), rekkevidde (2.1-10.3 måneder ). For vurderingen av inter-rater reliabilitet vi inkludert 70 poster (fig 1).

Figur 1 viser flytskjema for vår studiepopulasjonen fra de som kvalifisert til de som er inkludert i analysen.

Intra-rater reliabilitet

Totalt alle variabler vurderes hadde betydelig (Cohens kappa ≥ 0,6) til utmerket avtale (Cohens kappa ≥ 0,8) med et observert prosentavtale som strekker seg fra 75% (dato for neste besøk i pediatrisk onkologi) til 95% (overdragelsestidspunktet) (figur 2).

2 viser verdiene av kappa for intra-rater (mørk blå) og for inter-rater (lys blå) driftssikkerhet med selvtilliten intervaller T for hver variabel under etterforskning

etter å ha tatt hensyn til utbredelse og bias, PABAK var høyere for alle variabler og varierte 0,64 til 0,81 enn de ujusterte kappa verdier (tabell 5; fig 3)..

fig 3a og 3b viser verdiene av kappa i forhold til de verdiene som oppnås ved å beregne utbredelsen justert Bias justert kappa for intra-rater reliabilitet (a) og inter-rater reliabilitet (b).

den variable «follow-up» hadde den høyeste Cohens kappa (k = 0,76), mens overføring og utslippet hadde lavest (k = 0,62 og k = 0,63) (figur 2).

dato variabler hadde Cohens Kappas (k) over 0,9 unntatt «dato for neste besøk» var k var 0,7.

Når du ser på resultatene stratifisert etter de to raters, vi kunne se at Cohens Kappas var gjennomgående høyere for rater en enn for rater 2. Spesielt for variabler overføring og utslipp rater 2 hadde Cohens Kappas 0.5 (tabell 5).

Læring effekter

Når du ser på læring effekter mellom tidspunkt 1 og tidspunkt 2 mot dataene som samles inn av prosjektleder MEG vi kan se at kappa verdier kraftig forbedret for begge raters (alle p

s 0,001). (fig 4)

figur 4a og 4b viser sammenligning av abstraksjon på to tidspunkter av rater 1 (a) og rater 2 (b) i forhold til det valgte golden standard (abstraksjon av prosjektleder).

Inter-rater reliabilitet

for variablene overføring, utslipp, i oppfølging og overføring reisemålet den observerte avtalen ble høy som strekker seg fra 86% til 91% (Tabell 6)

Cohens Kappas nådd vesentlig eller utmerket avtale som strekker seg fra 0,70 (utflod) til 0,83 (overføring destinasjon) (Tabell 6, fig. 2). Etter å ha justert for prevalens og bias, den sanne andelen av avtalen (PABAK) var høyere for alle variabler og varierte 0,71 til 0,84 (tabell 6). Blant de kategoriske variabler, «i oppfølging» hadde den høyeste Cohens kappa (k = 0,76), mens overføring og utslippet hadde lavest (k = 0,62 og k = 0,63). Avtalen og kappa var perfekt. (100%; k = 1) for de tre datovariabler vurderes

Diskusjoner

Resultatene fra vår undersøkelse viste at både intra-rater og inter-rater vi hadde betydelig til utmerket avtale. Som forventet, de variablene som ingen tolkning var nødvendige (for eksempel datovariabler), høyere og ofte perfekt avtalen var til stede. Vi fant ut at en rater konsekvent hadde lavere intra-rater avtalen, men ytterligere analyse viste en forbedring av skjønn mellom tidspunkt 1 og tidspunkt 2 for begge raters i forhold til den valgte gullstandarden. Uventet, Cohens Kappas var høyere for inter-rater reliabilitet enn for intra-rater reliabilitet.

styrker og begrensninger

Dette er den første studien å vurdere overgangen fra barn til voksen med medisinske poster som testet for intra-rater og inter-rater reliabilitet av de innsamlede data. Fordi variablene vurdert var ikke alltid lett å finne i de medisinske poster eller lett å rangere disse resultatene gir oss tillit for å tolke dataene som samles inn. Fordi datainnsamling var fortsatt pågående, vurdere påliteligheten ga oss også mulighet til å identifisere mulige problemer knyttet til rater fatteevne og gripe inn i tilfelle vi hadde inntrykk av systematiske feil ble forekommende. For hvilke data vi hadde allerede samlet vi utført en dobbel kontroll for å sikre at de mulige feilene fra den første fasen kan korrigeres.

Studien har imidlertid begrensninger. For det første, utvalgsstørrelsen ikke tillate påvisning av inter-sykehus forskjeller eller forskjeller mellom ulike typer medisinske poster (dvs. papir versos micro film) eller arkiverings perioder, noe som kan muligens forklare noe av rater variabilitet. Vi inkluderte også tre klinikker bare, mens hele studien ble gjennomført i totalt ni, i tre forskjellige språkområder. Forsiktighet er derfor nødvendig i generalisering av resultater. I vår studie vi bare sett på dokumenter fra pediatrisk onkologi og, selv om de inneholder korrespondanse med andre spesialister som er involvert i oppfølgingen, var det ofte vanskelig å fullt ut forstå pasientens sykehistorie. Dette ble ytterligere forverret av det faktum at ingen av de raters hadde kompetanse i klinisk praksis og ble kjent med de lokale dokumentasjonssystemer. Endelig har kappa kjent begrensninger som vi prøvde å overvinne ved å rapportere utbredelsen justert skjevhet justert kappa som foreslått av flere forfattere [12,15].

Sammenligning med andre studier

Ingen av studiene som så på vurderingen av overgangen fra barn til voksen gjorde undersøke påliteligheten av abstraherte data. Vi fant flere studier vurdere det meste inter-rater reliabilitet av diagnostiske tester (screening og påvisning av uønskede hendelser) som ikke var direkte sammenlignbare med våre. To studier [4, 8] var mer lik i metodikk og omfang av oss: i den første forfatterne fant at avtalen var dårligere for variabler som en grad av interpretability var nødvendig (dom data), mens den var høyere for data slike som demografiske eller numeriske egenskaper [8]. Det samme ble funnet i andre multisenterstudie ved hjelp av pasientjournal abstraksjon i en studie på community-baserte astma omsorg program [4]. I denne studien fant de at den multi abstraksjon av data fra medisinske poster er pålitelig og konklusjoner kan trekkes fra resultatene. De fant en samlet Cohens kappa for intra-rater reliabilitet på 0,81 (utmerket) og en samlet Cohens kappa på 0,75 (betydelig) i den inter-rater analyse.

Tolkning av resultater

Selv om vi kunne ikke nå fullkommenhet i abstraksjon av data, resultatene er betryggende og viste tilfredsstillende nivåer av avtalen. Videre raters «forbedring i dommen mellom tid 1 og tid 2, trolig på grunn av en læringseffekt, gjør det mulig å anta at abstraksjon i de resterende 6 klinikker ikke inkludert i denne studien, er av minst tilsvarende eller høyere kvalitet og pålitelighet . Som det ble forventet, avtalen var høyere for ikke-dom variabler som dato. Slik informasjon stort sett ikke krever tolkning. Andre data som variabler «transfer» eller «transfer mål» var å bli sett etter i gratis tekster som brev eller medisinske rapporter og det kreves ofte en annen grad av oppmerksomhet og tolkning. Faktisk, data abstraksjon var vanskelig fordi i pediatrisk onkologi sette flere andre spesialister er ofte involvert i oppfølgingen av pasientene (f.eks nevrologer, endokrinologer). Dokumenter som ble funnet var ofte fra ulike spesialister og raters måtte bestemme om, for eksempel, var en pasient overført fra pediatrisk onkologi eller om pasienten faktisk ble overført fra en annen spesialist. En pasient kan nemlig fortsatt være i oppfølging i pediatrisk onkologi, men kan ha blitt overført fra pediatrisk endokrinologi til voksen endokrinologi. Dette var ofte en kilde til forvirring når abstrahere data.

I motsetning til andre studier [4,7], fant vi høyere inter-rater reliabilitet enn intra-rater. Fordi inter-rater reliabilitet ble vurdert på tidspunkt 2 bare dette høyere pålitelighet kan skyldes læringseffekten kan vi vise.

implikasjoner for praksis

Til tross for de kjente begrensninger retrospektiv studier med MR eller andre sekundære data, har et økende antall studier har vist at en slik tilnærming kan produsere pålitelige resultater hvis prosedyren er konsekvent og standardisert, og hvis raters er tilstrekkelig opplært. Det ville være interessant å undersøke om arkivene organisasjon, dokumentenes alder og formatet av slike dokumenter (f.eks mikrofilm, elektronisk, papirkopi) påvirke kvaliteten på mottatte data. Til slutt, kan en slik analyse bidra til å oppdage mulige problemer som rater sin forståelse problemer eller avvik og forbedre den generelle kvaliteten på retrospektive studier.

Konklusjon

Vår studie viste at til tross for flere begrensninger knyttet til data abstrahert fra MR, synes vår data for å være pålitelig. Takk til vurdering av læringseffekter, kan systematiske feil rettes opp og generelle datakvalitet forbedret. Med god trening og en standardisert prosedyre god pålitelighet kan oppnås.

Takk

Vi takker studiet team av overgangs etter Childhood Cancer Study (Isabelle Brunner, Eliane Rupp og Samuel Wittwer) og data ledere av den sveitsiske Pediatrisk Oncology Group

Swiss Pediatrisk Oncology Group (SPOG) Vitenskapskomiteen:. Prof. Dr. med. R. Ammann, Bern; Dr. med. R. Angst, Aarau; Prof. Dr. med. M. Ansari, Genève; PD Dr. med. M. Beck Popovic, Lausanne; Dr. med. E. Bergstraesser, Zürich; Dr. med. P. Brazzola, Bellinzona; Dr. med. J. Greiner, St. Gallen; Prof. Dr. med. M. Grotzer, Zürich; Dr. med. H. Hengartner, St. Gallen; Prof. Dr. med. T. Kuehne, Basel; Prof. Dr. med. C. Kuehni, Bern; Prof. Dr. med. K. Leibundgut, Bern; Prof. Dr. med. F. Niggli, Zürich; PD Dr. med. J. Rischewski, Lucerne; Prof. Dr. med. N. von der Weid, Basel.

Legg att eit svar