Hoe een onderzoekspaper te analyseren

Toen ik jaren geleden met mijn MSc begon, kwam ik nogal wild en blind op onderzoek uit. Ik pakte papier na papier en probeerde kwaadaardig zoveel mogelijk te lezen. Ik wilde me door mijn MSc haasten.

En net als mijn gebrek aan een strategie voor het oplossen van bugs, had ik een vergelijkbare adhoc-paper voor het lezen / analyseren van "strategie". Mijn "anti-proces" bestond uit adhoc schrijven van notities, willekeurige markeringen en verspreide ideeën. Soms las ik volledige kranten, soms alleen conclusies. Soms las ik ze van boven naar beneden, soms las ik secties in een willekeurige volgorde. Soms schreef ik notities op het papier zelf, soms schreef ik ze op een apart vel papier, terwijl ik ze de andere keer in een Google-spreadsheet zou schrijven. De noten zelf waren van verschillende formaten en diepten. Soms waren mijn aantekeningen goed geschreven en begrijpelijk, soms (meestal) waren ze totaal onsamenhangend en nutteloos.

Ik herinner me dat ik na mijn eerste paar fervente krantenlezingen wilde beginnen met het schrijven van een achtergrondhoofdstuk, maar ontdekte dat ik een rijk van ongeorganiseerde, niet-geprioriteerde chaos in mijn midden had achtergelaten. Ik wist niet waar ik moest beginnen en waar ik moest stoppen en welke hiaten er nog bestonden. Ik was niet zeker wat ik had geleerd en wist zeker niet of ik het veld wel of niet begreep. Hoe zou ik in vredesnaam een ​​goede onderzoeker kunnen zijn als ik geen proces zou kunnen bedenken om onderzoek te lezen?

Het is pas in de afgelopen maanden (dus 6 jaar later, na de MSc) dat ik heb besloten om tijd te besteden aan zelfreflectie en op mijn beurt aan het verbeteren van leesgewoonten op papier. Ik heb met veel van mijn favoriete onderzoekers gesproken in een poging hun proces te begrijpen en ik ben bezig om wat ze doen te consolideren in een eigen proces. Ik hoop dat ik niet de enige trieste zode ben die moeite heeft om veel uit het lezen van een krant te halen en dat misschien mijn mislukkingen en lessen anderen zullen helpen.

Nu ga ik (hopelijk) een paar blogs in deze serie doen, omdat er veel invalshoeken zijn om onderzoekspapers te lezen:

  • Hoe kies je welke kranten je wilt lezen?
  • Hoe "diep" moet je elke krant lezen?
  • Hoe lees je de krant eigenlijk?
  • Hoe kunt u uw gedachten over een specifieke paper analyseren en structureren?

Deze blog gaat vooral over de laatste van die 4: "Hoe uw gedachten over een specifiek artikel te analyseren en te structureren" en gaat over "Hoe het papier daadwerkelijk te lezen", omdat het belicht waar u op moet letten bij het lezen.

Disclaimer: ik heb een achtergrond in informatica. Dus mijn strategie zal waarschijnlijk alleen echt zinvol zijn als je je op dat soort terrein bevindt. Hopelijk zijn sommige strategieën multidisciplinair. Stuur me je gedachten als je iets ziet dat relevant is (of niet) voor je vakgebied

Mijn nieuwe papieranalyseproces

In mijn bijgewerkte "proces" ben ik geneigd het volgende te doen: Na het lezen van een paper (ik probeer van boven naar beneden), markeren en willekeurige markeringen maken in de marges, ga ik graag achteraf door die kanttekeningen, categoriseer ze en verzamel ze in een stapsgewijze analyse die elk specifiek thema / dimensie behandelt. Op een dag, nadat dit verder is verfijnd, wil ik een sjabloon ontwikkelen voor het analyseren van onderzoeksdocumenten die we kunnen delen en hopelijk kunnen gebruiken om ons onderzoekleesproces te optimaliseren.

Geïnspireerd door Julia Evans en haar epische zines, teken ik de kleine mindmap hieronder om de "thema's" te beschrijven waar ik nu naar kijk bij het analyseren van een paper (op een dag zal ik het omzetten in een strip!)

Omdat mijn kleine mindmap (a) moet worden gedigitaliseerd en (b) nog behoorlijk wat werk nodig heeft, ga ik er doorheen. Laten we gaan!

1. Belangrijkste bijdragen

De belangrijkste bijdrage wordt meestal samengevat in uw samenvatting en conclusies. Dit is duidelijk van het grootste belang, dus ik wijd een paar zinnen toe om het in mijn eigen woorden uit te leggen

2. Secundaire bijdragen

Deze worden niet altijd in de samenvatting genoemd, dus pak je ze op tijdens het lezen. Dit kan een unieke strategie zijn voor het analyseren van resultaten of een nieuwe statistiek die nuttig kan zijn.

3. Persoonlijke ontdekkingen

Een onderzoekspaper is meer dan zijn bijdragen. Het lezen van een onderzoeksartikel zal bijdragen aan verschillende delen van je kennis - dingen die zijn geciteerd uit andere kranten die ze in de huidige krant gebruiken, of zelfs handige schrijfstijlen voor papier. Ik classificeer mijn persoonlijke ontdekkingen graag als volgt:

  • Ongezien werk, concepten, algoritmen en terminologie.
  • Interessante methodologieën, datasets en benchmarks.
  • Slimme analysetechnieken.
  • Handige technieken en stijlen voor het schrijven van papier, bijvoorbeeld: de keuze om gerelateerd werk aan het einde te zetten, of om een ​​bijlage met diepgaande details toe te voegen.

4. Vragen

Als je de eerste keer een krant leest, krijg je veel vragen. Vaak hebben de kranten zelf niet de antwoorden. Om de vragen te beantwoorden, moet ik iets anders lezen, de broncode bekijken of soms contact opnemen met een auteur. Dit zijn de soorten vragen waarmee ik kom:

  • Ontbrekende achtergrond: "Wat is dit allemaal?"
  • Onbekende terminologie: "Wat is dat?"
  • Potentiële fouten: "Dat lijkt niet goed!"
  • Onverklaarbare beslissingen: "Waarom hebben ze ervoor gekozen om dat te doen?"

5. Belangrijke verwijzingen om te lezen

Geen enkele onderzoeker is een eiland, zelfs John Nash niet (die notoir naar slechts één andere persoon dan zichzelf verwijst). Tijdens het lezen van een paper merk ik op op welk werk dat paper voortbouwt en markeer de belangrijke referenties. Nu zouden we in een perfecte wereld ELKE referentie lezen, maar helaas is dat niet praktisch en moeten we onze inspanningen concentreren. Ik wil graag een paar belangrijke referenties opsommen die ik nodig heb om terug te lezen en te lezen in volgorde van waargenomen belang, zodat ik weet welk papier ik moet oppakken.

6. kritiek

Peer-review is niet perfect en onze niveaus van wetenschappelijke normen verschillen. Ik zie vaak problemen met de methodiek of bij auteursbeslissingen die me dwarszitten en die moeten worden benadrukt. Enkele voorbeelden van kritiek die ik regelmatig heb:

  • Slechte of zwakke experimentele methoden. "Ze hadden maar één monster!"
  • Onjuiste analyse: "U kunt die conclusie niet trekken uit die statistiek!"
  • Slechte beschrijving van algoritmen: "Er ontbreken secties!"
  • Ontbrekende of overbelaste symbooldefinities: "Wat is hell in godsnaam?"
  • Slecht schrijven: "Wacht, wat?"

7. ideeën

Onze primaire taak als onderzoeker is het begrijpen van de kennisbasis, nadenken over "wat als" of "waarom" en het vervolgens proberen te beantwoorden. Dus de ideeën die we hebben uit het lezen van een paper zijn van het grootste belang!

8. Beoordeling

Ik heb besloten elk artikel dat ik lees te beoordelen. Dit helpt je door het veld te leiden, de beste onderzoekers te markeren en het belang van een bijdrage te begrijpen. Ik gebruik een eenvoudige 5-sterrenbeoordeling. Dit zijn de assen die ik beoordeel (laat het me weten als je meer hebt)

  • Impact: heeft dit het gezicht van AI voor altijd veranderd? Of was het een herhaling van oude algoritmen?
  • Methodologie: hoe streng waren hun experimentele technieken? Hoeveel voorbeelden hebben ze per configuratie uitgevoerd? Hebben ze hun parameters geoptimaliseerd?
  • Analyse: hoe streng was de analyse?
  • Kwaliteit: hoe gemakkelijk was het papier te begrijpen?
  • Relevantie: is dit relevant voor mijn onderzoek?

Dus daar hebben we het ...

Nu ik dit allemaal heb opgeschreven, heb ik in wezen een proces voor mezelf geformaliseerd dat ik zal volgen. Bovendien wil ik ervoor zorgen dat het eerste bovenste deel van elke paper-analyse de auteurs, het jaar, het tijdschrift en mijn 5-sterrenbeoordelingen heeft.

Dit is echt een WERK IN VOORUITGANG, dus als je iets toe te voegen hebt waarvan je denkt dat het waardevol is, laat het me dan weten en ik zal het in mijn proces opnemen. Dit is iets waar ik actief mee bezig ben om te proberen te verbeteren, dus ik verwelkom alle opmerkingen, bijdragen en kritiek