Ik zal hier wat stukjes op zetten die ik in de loop van tijd geschreven heb. Allereerst een stuk dat ik vandaag op de weblog van cryptocheilus heb gezet over de mammaprint.
Testen zoals de mammaprint zijn ontwikkeld door het expressiesignaal van tienduizenden genen te vergelijken tussen groepen patienten die wel of geen kanker ontwikkelden na behandeling. Expressiearrays bevatten informatie over de activiteit van genen, maar die informatie is meestal erg klein ten opzichte van willekeurige variatie. Als je individuele risico’s wil voorspellen moet het systematische signaal groot zijn ten opzichte van de toevallige variaties. Dat kun je alleen bereiken als je het signaal van veel genen op de goede manier optelt. Het probleem is dat als je tienduizenden genen analyseert in relatie tot de uitkomst bij een paar honderd patienten het altijd mogelijk is om een som van gensignalen te vinden die de uitkomst precies voorspelt. Statistici noemen dat overfitting. Hoe dat werkt kun je begrijpen als je je realiseert dat ieder gen op puur toevallige gronden altijd iets meer mensen uit groep A versus groep B zal selecteren. Als je voldoende van die genen bij elkaar optelt kom je vanzelf aan een goede scheiding tussen beide groepen. De methoden die Laura van ‘t Veer en vele anderen gebruikt hebben zijn wat ingewikkelder dan wat ik hier beschrijf, maar lijden aan hetzelfde probleem dat er een selectie gemaakt wordt uit heel veel genen en dat toevallige variatie op de goede manier opgeteld schijnbaar goed differentieert tussen groepen. Dat betekent dat het eigenlijk niet te verwachten is dat je op basis van statistiek met een paar honderd personen een goede predictor kunt maken als de signalen zwak zijn. Wat binnen een onderzoek goed werkt, hoeft helemaal niet goed te werken in een volgend onderzoek omdat de toevallige factoren die de goede predictie mogelijk maakten daar net weer anders uitkomen. Buitengewone resultaten vragen om buitengewoon bewijs. Dat bewijs is statistisch theoretisch niet geleverd: er zijn geen methoden bekend die dit soort voorspellingsproblemen kunnen oplossen. Laura van t Veer verwijs in het Volkskrant interview van 29 augustus naar sterrenkundigen die dit akkefietje voor haar hebben opgeknapt. Ik hoop dat het geen astrologen waren… Ik zeg hier overigens niets nieuws: toen de eerste resultaten met veel poeha gepubliceerd werden heb ik in de NRC al mijn twijfel uitgesproken of deze methode wel kon werken. Een aantal onderzoekers waaronder ikzelf hebben indertijd een aantal predictiemethoden op basis van expressieprofielen onderzocht (Survival-related profile, pathways, and transcription factors in ovarian cancer APG Crijns, RSN Fehrmann, et al, PLoS medicine 6 (2), 181) Daaruit bleek dat die predictiemethoden het bij ovariumkanker net iets beter doen bij de werkelijke afhankelijke variabele dan wanneer je de uitkomst willekeurig herverdeelt over de patienten. Deze test stelt je in staat om te kijken hoeveel het effect is van toevalligheden in een bepaalde richting bij elkaar op te tellen -een manier om predictiemethoden als het ware empirisch te onderzoeken,
Biologen hebben meestal niet zoveel boodschap aan wat statistici op theoretische gronden zeggen. Ik heb het er met Laura wel over gehad, maar moet constateren dat wij in verschillende werelden leven. Ik denk dat ze er, ten onrechte, oprecht van overtuigd is dat zij iets belangrijks heeft gevonden. Als je dan ook nog bewierookt wordt is het moeilijk om in je eigen ongelijk te geloven. Biologen en artsen hebben een zekere, niet eens geheel onterechte, argwaan tegenover theoretische argumenten -al is een statistisch theoretisch argument iets anders dan een biologisch theoretisch argument. Of een test valide is is kun je namelijk ook proefondervindelijk onderzoeken, via de algemeen geaccepteerde methodologie van de dubbelblinde klinische proefopzet waar de behandeling toevallig wordt verdeeld over de deelnemers. Dat is in dit geval lastig maar je kunt de gouden standaard benaderen. Dus is er onderzoek opgezet om de claims van de mammaprint grootschalig empirisch te valideren. ( de MINDAC trial) Dat heeft het additionele voordeel dat je dan veel meer patienten hebt zodat je het predictieprofiel kunt verbeteren. Ik weet nog niet wat er uit die trial komt. Misschien werkt de mammaprint wel een beetje. Er zit wel degelijk bruikbare biologische informatie in expressiearrays, Het probleem is om bij zwakke signalen die informatie er uit te halen door op de juiste wijze het signaal van duizenden genen bij elkaar op te tellen. Misschien heeft ze wel een groep genen gevonden die er toe doet -geluk in de wetenschap is altijd welkom. Recent literatuuronderzoek is echter uitermate kritisch over de voorspellende waarde van de grote meerderheid op expressie gebaseerde tests, waarvan er nu al een heleboel zijn, want daar is goed geld mee te verdienen. https://www.empireblue.com/medicalpolicies/policies/mp_pw_a049879.htm
Inmiddels Is het vijf jaar geleden dat bovenstaande tekst geschreven is en helaas moet geconstateerd worden dat de Mammaprint nog steeds geen relevante verbetering van de risico predictie geeft. Dat wordt door de fabrikant (Agendia) natuurlijk met een heleboel omzichtigheid ontkend. Het tragische van deze zaak is dat dit reeds vanaf het begin evident was voor wie de zwakke statistische basis van deze test kon begrijpen.
gerardtem 