Vertrouwen in onderzoek

Liefdevol onderzoek is één ding. Vertrouwen is een ander.

Foto door Jonas Verstuyft op Unsplash

Al jaren ben ik op zoek naar de juiste metafoor voor hoe beïnvloedbaar ik denk dat ik ben. Hoe zit het met het betalen van $ 280.000 voor een universitaire opleiding en vier jaar diepe onderdompeling in de wereld van ideeën, om vervolgens te ontdekken dat geen van mijn ideeën van mij zijn? Dat is niet bepaald een metafoor, maar ergens is er een 14-letterig Duits zelfstandig naamwoord om dit exacte scenario te beschrijven, ik weet het zeker.

Op de universiteit waren het de ideeën van westerse canon-denkers die onder de indruk waren van mij, samen met hun interpretaties door mijn professoren. Elk nieuw idee leek zo voor de hand liggend: natuurlijk woonden we in het panopticon van Foucault, natuurlijk kon alles worden teruggevoerd op de taakverdeling à la Marx, en natuurlijk was de westerse geschiedenis gewoon christelijke geschiedenis (bedankt, vergeten grad student). Op een gegeven moment heb ik de stelregel 'vraag alles, inclusief hoe je leert vragen', geabsorbeerd, wat echt een rol bij mij speelde. Met nieuwe ideeën aangekondigd als waarheid die constant naar me wordt gegooid met de richtlijn om ze in vraag te stellen, en geen tijd om op een gestructureerde manier te leren hoe, iets moest breken. Tegen het einde van de universiteit was het mijn vertrouwen in de academische wereld.

Dit had zowel goede als slechte effecten. Ik bracht meer tijd door in de wereld van mensen in plaats van ideeën, en ontmoette zo enkele interessante mensen, besefte dat ik iets nodig had om te doen na de universiteit en vond daarna iets om te doen na de universiteit. Ik verdiepte ook vriendschappen en eindigde een paar giftige relaties. Alle goede dingen. Maar de kosten waren hoog: ik bewoonde een vreemde intellectuele ruimte waar ik nieuwe ideeën leerde en vasthield zonder erin te geloven. Ik werd het tegenovergestelde van een karikatuur van een universiteitscoffeeshop en had bijna geen mening over Big Issues.

Dat is een lange maar noodzakelijke inleiding tot de kwestie van vandaag: vertrouwen in onderzoek. Nu, met enig begrip van de ruimte die ik in beslag nam in de onmiddellijke periode na het college, snel vooruit naar 28 april 2014. Door mijn twijfelachtige inspanningen op het moment om op de hoogte te blijven van de Twittersphere, kwam ik een artikel tegen dat werd gepubliceerd door Jerry Adler in Pacific Standard genaamd "De Reformatie: kunnen sociale wetenschappers zichzelf redden?" Het artikel was mijn eerste kennismaking met statistische methoden in onderzoek, en laten we zeggen dat het hen niet in een zeer gunstig licht afbeeldt. In 2011 kon een psycholoog met de naam Joseph Simmons bijvoorbeeld 'bewijzen' dat het luisteren naar het nummer van de Beatles 'When I’m Sixty-Four' je jonger maakt. Dat is natuurlijk belachelijk. Adler schrijft:

Tussen het laboratorium en de gepubliceerde studie ligt een kloof die moet worden overbrugd door het moeizame proces van gegevensanalyse. Zoals Simmons en zijn co-auteurs hebben aangetoond, is dit proces een virtuele zwarte doos die, zoals momenteel gebouwd, "het mogelijk maakt om iets zo belangrijks te presenteren." weten?

In mijn beïnvloedbare staat verslond ik dit artikel. Ik leerde niet alleen over deze statistische "zwarte doos" van gegevensanalyse, maar ook over p-hacking, priming, Retraction Watch, reproduceerbaarheid en de tekortkomingen van peer review. Ik was met stomheid geslagen. De wetenschap zou de zoektocht naar de waarheid in de wereld zijn. Het moest ondoordringbaar zijn. Mijn ouders zijn allebei wetenschappers en jarenlang liepen Natuur en Wetenschap door het huis. Als kind bladerend door hun pagina's, was ik onder de indruk van de gecompliceerde diagrammen, de niet te ontcijferen taal die in een speciale wetenschappelijke code leek te zijn geschreven, en de foto's van kleine objecten genomen met geavanceerde beeldvormingstechnieken. Maar nu ik dit Pacific Standard-artikel las, viel het me op dat het hebben van een scanning-elektronenmicroscoop niets garandeert. De wetenschap had, net als de westerse canon, zijn eigen menselijke problemen.

De wetenschap zou de zoektocht naar de waarheid in de wereld zijn. Het moest ondoordringbaar zijn.

Of gegevens nu ronduit zijn gefabriceerd of gewoon 'aangepast', er moet een reden zijn. De schandelijke gegevensfabrikant Diederik Stapel, een Nederlandse sociaal psycholoog, vertelde de New York Times dat hij het deed uit "een zoektocht naar esthetiek, naar schoonheid - in plaats van de waarheid." The Economist vatte de drang naar data-hack iets minder samen poëtisch met twee naast elkaar geplaatste uitspraken in een artikel uit 2013: "vertrouwen, maar verifiëren" versus "publiceren of vergaan." De basis van de moderne wetenschap is reproduceerbare resultaten over herhaalde experimenten, maar zoals de econoom het uitdrukte: "moderne wetenschappers doen teveel vertrouwen en niet genoeg om te verifiëren. ”De prikkels zijn er niet om saaie verificatieonderzoeken te doen, of erger nog, om jaren van iemands leven door te brengen aan een project dat de nul niet verwerpt. In plaats daarvan worden studenten en gevestigde onderzoekers ertoe gedwongen nieuwe resultaten te presenteren die iets nieuws over de wereld lijken te zeggen.

'Publiceren of vergaan' zegt veel, niet alleen over de bredere wetenschappelijke gemeenschap, maar ook over medicijnen. ERAS®, of de Electronic Residency Application Service, is de particuliere, gecentraliseerde service die bijna elke MD- of DO-student gebruikt om zich kandidaat te stellen voor een verblijfsvergunning in de Verenigde Staten. Het is ongelooflijk veelzeggend dat ERAS een toegewijde pagina heeft voor aanvragers om hun publicaties in te voeren. Er is geen aparte pagina voor onderwijs, vrijwilligerswerk of bijdragen aan je community. Reeds aan medische studenten wordt gevraagd: kun je het geld binnenbrengen? Ja, het is nog steeds mogelijk om een ​​arts te worden, en een goede, zonder publicaties. Reken er niet op dat u een dermatoloog, een orthopedisch chirurg of een aantal andere specialiteiten bent. Een ortho hoopvol die ik ken vertelde me dat hij "57 abstracts" heeft, en ik hoop zeker dat dit genoeg is om zijn doelen te bereiken. Een chirurgische inwoner met wie ik samenwerkte, vierde de acceptatie van zijn artikel in een betaald dagboek dat beweerde een heel ander vakgebied te bestrijken, omdat het 'nog één voor de CV' was. Het lijkt erop dat het koppelen van loopbaanperspectieven aan publicatievolume wetenschappelijk onderzoek heeft overstroomd met een zondvloed onzin.

Foto door pan xiaozhen op Unsplash

Op elk niveau van de voedselketen worden onderzoekers gemotiveerd door volume, niet door waarheid - en wie kan hen dat kwalijk nemen? Geld stroomt naar academische medische centra van onderzoeksfinanciers zoals de NIH op een niveau dat alle fundamentele of overheidsbeurzen voor onderwijs of dienstverlening in de schaduw stelt. Vaak worden onderzoekers ingehuurd met de verwachting dat zij hun eigen salarissen, evenals die van hun personeel, financieren. Ik was aan de Columbia University toen twee van de meest populaire professoren van de Mailman School of Public Health werden ontslagen omdat ze er niet in waren geslaagd om 80% van hun salaris aan beurzen binnen te halen. Drs. Carole Vance en Kim Hopper waren beiden niet-vaste professoren die tientallen jaren bij Mailman hadden gewerkt, beiden beschouwd als leiders op hun respectieve terreinen. Beide gaven ook prioriteit aan lesgeven. In een toespraak tot de Natie zei een oud-student van Vance: "Ik heb het ongelooflijke voorrecht gehad van veel geweldige leraren en ongelooflijke collega's, maar er is echt niemand anders die mentoren is met de intensiteit die Carole doet" ... "Ze wordt actief gestraft voor een buitengewone mentor zijn - dat is de richting waarin de bedrijfsuniversiteit evolueert. Mentorschap betaalt niet. Mentorship is niet iets dat je aan een financier kunt verkopen. '

Geld stroomt naar academische medische centra van onderzoeksfinanciers zoals de NIH op een niveau dat alle fundamentele of overheidsbeurzen voor onderwijs of dienstverlening in de schaduw stelt.

En toch, in een wereld waar artsen zelfmoord plegen met tweemaal de snelheid van de algemene bevolking, is mentorschap belangrijk. In plaats van te leren hoe ze de rol van een humanistische arts moeten vervullen van rolmodel-mentoren, leren medische studenten hoe ze papieren kunnen maken waar ze weinig trots op zijn en waar weinigen waarschijnlijk ooit zullen lezen, en zo de cyclus van publiceren of vergaan voortzetten. Ik zou beweren dat de publicatiedrive elk aspect van de geneeskunde schaadt, door verzonnen of slechte resultaten aan te moedigen; waardoor het moeilijk wordt om het echt waardevolle onderzoek (het bestaat zeker) te scheiden van het kaf; en het stimuleren van de verkeerde waarden bij onze zorgverleners.

En niemand is immuun. Zelfs op het hoogste niveau (in de geneeskunde noemen we dat Harvard) publiceren onderzoekers vervalste gegevens. Deze week nog adviseerde Harvard Medical School en haar gelieerde afdeling Brigham and Women's Hospital om maar liefst 31 artikelen van voormalig laboratoriumdirecteur Dr. Piero Anversa terug te trekken uit talloze tijdschriften. Retraction Watch houdt een lijst bij van de tien meest geciteerde ingetrokken papieren. Ze bleven allemaal citaten ontvangen na terugtrekking, wat betekent dat ze het wetenschappelijke bewustzijn effectief hebben gecorrumpeerd.

De problemen met onderzoek zijn zo talrijk dat ik nog maar net het oppervlak ben gaan aanraken. Een ander groot probleem is het in twijfel trekken van de oorsprong van onze huidige normen en richtlijnen, die misschien zijn afgeleid van studies van overwegend blanke mannen. Volgens een commentaar in 2015 in PLoS One, “omvatten minder dan 2% van de meer dan 10.000 klinische klinische onderzoeken die door het National Cancer Institute zijn gefinancierd, voldoende minderheidsdeelnemers om te voldoen aan de eigen criteria en doelstellingen van de NIH [en] minder dan 5% van de door NIH gefinancierde ademhalingsonderzoek meldde inclusie van raciale / etnische minderheden. 'Zelfs op de medische school leerde ik dat' vrouwen 'tot de groepen behoren die atypische symptomen van een hartaanval kunnen vertonen -' vrouwen '. Weet u, die helft van de bevolking. Wat voor soort onderzoek ligt ten grondslag aan ons begrip van een "typische" hartaanval als het geen vrouwen omvat?

Foto door Vlad Tchompalov op Unsplash

Onderzoek is niet alleen een amorfe term. Het heeft invloed op elk aspect van ons leven, van het water dat u drinkt tot de manier waarop u in het ziekenhuis wordt verzorgd, tot een laatste kans op leven in een klinische proef. Elke publicatie die voor publicatie wordt verzonden, moet goed zijn en betekenis hebben voor de auteurs. Onderzoek moet meer zijn dan alleen een cijfer voor een toepassing. Mijn toevallige ontmoeting met het Pacific Standard-artikel vier jaar geleden maakte indruk op mij sceptisch op onderzoek en ik ben sindsdien bezig geweest de echt zinvolle uitschieters te vinden.