Denken en weten over de wereld: Lessen voor de eenentwintigste eeuw

Kun je met statistiek werkelijk alles bewijzen?

Kun je met statistiek werkelijk alles bewijzen?1 Geert Verbeke Inleiding Het lijdt geen twijfel dat statistiek meer en meer een vooraanstaande rol speelt in de toegepaste wetenschappen, en zeker in de biomedische wetenschappen . Deze prominente rol vinden we terug in vakliteratuur, maar ook in onderwijsprogramma’s. Toch worden nog al te vaak verkeerde methodes gebruikt, of worden resultaten van correcte analyses verkeerd geïnterpreteerd , wat leidt tot foute en schijnbaar tegenstrijdige conclusies. Zo kan de indruk gewekt worden dat met statistiek alles te bewijzen valt. Onlangs stelde Robert May (2004) in Science het misbruik van wiskunde in de biologie aan de kaak. Hij gaf een aantal voorbeelden waarbij verkeerde mathematische modellen hebben geleid tot foute predicties van onder meer de impact van HIV/AIDS in Centraal-Afrika en van het aantal dieren dat werd geïnfecteerd met mond- en klauwzeer. Een paar maanden later publiceerden twee Spaanse biostatistici, Emili García-Berthou en Carles Alcaraz (2004), de resultaten van hun onderzoek naar het gebruik van statistiek in de jaargang 2001 van Nature en het British Medical Journal. Zo’n 38% van de Nature-artikelen en een kwart van de publicaties in het British Medical Journal bleken minstens één statistische fout te bevatten. In totaal was 11% van de statistische resultaten niet in overeenstemming met de geformuleerde besluiten, en in 4% van de gevallen leidde dit tot de interpretatie van niet-significante resultaten als significant. 216 geert verbeke Wat kan er eigenlijk allemaal misgaan als men in de wetenschappen data verzamelt, analyseert en interpreteert, en hoe kunnen fouten vermeden worden? Vooraleer die vragen te beantwoorden, is het nuttig even stil te staan bij enkele basisprincipes uit de statistiek. Het meest typische voorbeeld waarbij statistiek gebruikt wordt, is wellicht het testen of een (nieuwe) behandeling effect heeft voor patiënten met een welbepaalde aandoening. Om hierover een uitspraak te kunnen doen zal men gegevens moeten verzamelen bij een grote groep patiënten die de behandeling krijgt toegediend. Hoe sterk de evidentie voor of tegen de behandeling uiteindelijk zal blijken te zijn hangt in grote mate af van hoeveel patiënten behandeld worden, hoe die patiënten geselecteerd zijn, en hoe het experiment wordt opgezet. Eens de gegevens verzameld zijn dienen ze op een correcte manier statistisch geanalyseerd te worden. Hiervoor zijn heel wat technieken beschikbaar en de keuze hieruit wordt bepaald door de onderzoeksvraag, de opzet van het experiment en de aard van de verzamelde gegevens. Op het moment dat de statistische resultaten beschikbaar zijn, is de correcte interpretatie ervan de finale cruciale stap. Niettegenstaande in elk stadium (experiment, statistische analyse en interpretatie) fouten gemaakt kunnen worden, zijn de interpretatiefouten wellicht de meest voorkomende, met ook de meest verregaande gevolgen . In de volgende onderdelen wordt elke stap in detail beschreven, en worden voorbeelden gegeven van hoe foute methodologie kan leiden tot verkeerde besluiten. De dataverzameling De populatie en de steekproef Indien men wenst na te kijken of een bepaalde behandeling effect heeft, dan moet men in eerste instantie omschrijven welk soort patiënten men voor ogen heeft. In de praktijk wordt de populatie waarin men geïnteresseerd is, omschreven door middel van inclusie- en exclusiecriteria. Inclusiecriteria moeten voldaan zijn, en ze worden gebruikt om zo nauwkeurig mogelijk de aandoening en de patiëntkarakteristieken te omschrijven. Voorbeelden zijn leeftijdscriteria, type kanker of bloedwaarden binnen bepaalde grenzen. Exclusiecriteria mogen niet voldaan zijn. Zo zal men het soms wenselijk vinden patiënten uit te sluiten die eerder al voor dezelfde aandoening behandeld werden. Alle gebruikte criteria moeten zo objectief mogelijk zijn om elke vorm van discussie en onduidelijkheid nadien uit te kun je met statistiek werkelijk alles bewijzen? 217 sluiten. Criteria zoals ‘een verwachte overlevingsduur van minstens één jaar hebben’ zijn dus het best te vermijden. Het zou ideaal zijn als we de ganse patiëntenpopulatie zouden kunnen behandelen en het effect ervan zouden kunnen opmeten. In de praktijk is dit onmogelijk omdat de populatie vaak zeer veel patiënten bevat, maar ook omdat men niet alleen een uitspraak wenst te doen over de huidige patiënten maar ook over alle toekomstige patiënten die aan dezelfde voorwaarden voldoen. Dit leidt tot een oneindig grote populatie. Daarom zal men zich in de praktijk moeten beperken tot het nakijken van het effect van de behandeling in een (eindige) subgroep van patiënten, gekozen uit de populatie. Deze zogenaamde steekproef moet aan een aantal voorwaarden voldoen. Eerst en vooral is het belangrijk dat de...