Algoritmen overtuigen met een AI Nudge

Feitencontrole kan de verspreiding van onbetrouwbaar nieuws verminderen. Het kan ook het tegenovergestelde doen.

(dit bericht verscheen oorspronkelijk op civilservant.io)

Lezers van r / wereldnieuws op reddit melden vaak roddelnieuws aan de vrijwillige moderators en vragen hen om tabloids te verbieden voor hun gesensationaliseerde artikelen. Deze verfraaide verhalen trekken de aandacht van mensen, trekken controverse aan en worden opgemerkt door het rangschikkingsalgoritme van reddit, dat ze nog verder verspreidt.

Het verbieden van tabloidnieuws kan een einde maken aan deze feedbackloop, maar de moderators van de community zijn gekant tegen algemene verboden. Om deze puzzel op te lossen, moesten moderators een vraag beantwoorden die centraal stond in debatten over zogenaamd "nepnieuws": hoe kunnen we de vrijheid van de bijdragers behouden en tegelijkertijd het wederzijdse gedrag van mensen en algoritmen beïnvloeden voor het welzijn van de gemeenschap?

Deze winter werkten moderators samen met CivilServant om een ​​idee te testen: wat zijn de effecten van bemoedigende feitencontrole op de reactie op onbetrouwbaar nieuws? We wilden zien hoe de r / worldnews-gemeenschap zou reageren. We hebben ook het effect waargenomen op de ranglijst van reddit. Als de algoritmen van reddit feitencontrole als populariteit interpreteerden, zouden onbetrouwbare artikelen zich verder kunnen verspreiden.

Tabloidnieuws is ongeveer 2,3% van alle inzendingen voor deze 15 miljoen abonneegemeenschap die nieuws buiten de VS bespreekt. In r / worldnews beoordelen 70 moderators ongeveer 450 artikelen per dag en laten 68% van die artikelen toe. Omdat het een standaard subreddit is, ontvangen de meeste reddit-lezers wereldnieuws via deze community. Hoewel het bereik van de gemeenschap wordt verkleind door Facebook, is r / worldnews misschien wel de grootste groep voor het bespreken van wereldnieuws overal op het Engelstalige internet. Zelfs kleine effecten in deze gemeenschap kunnen een groot verschil maken in de manier waarop miljoenen mensen mogelijk onbetrouwbare informatie over de wereld begrijpen.

In onze studie van 27 november tot 20 januari hebben we A / B berichten getest die de gemeenschap aanmoedigden om feiten te controleren en te stemmen over roddelnieuws. Dit is wat we hebben gevonden:

Het effect van het aanmoedigen van feitencontrole op gemeenschapsgedrag

In discussies over tabloid-inzendingen over r / wereldnieuws verhoogt het aanmoedigen van feitencontrole het incidentiepercentage van reacties met links gemiddeld met 2x, en het aanmoedigen van feitencontrole + stemmen heeft een soortgelijk effect.

Het effect van het aanmoedigen van feitencontrole op de algoritmen van Reddit

Na meer dan 24 uur constateerden we ook dat plakkerige opmerkingen die aanmoediging van feitencontrole aanmoedigden, een 2x vermindering van de reddit-score van tabloid-inzendingen veroorzaakten, een statistisch significant effect dat waarschijnlijk de ranglijst in de subreddit beïnvloedde. Toen we ook lezers aanmoedigden om te stemmen, verdween dit effect.

AI Nudges: Algoritmen overtuigen met behoud van vrijheid

Onze vragen over roddelnieuws voegden een algoritmische dimensie toe aan een klassieke bestuursvraag: hoe kunnen mensen met macht werken aan het algemeen belang en tegelijkertijd de beperkingen op individuele vrijheid minimaliseren?

we kunnen algoritmen overhalen om zich anders te gedragen door mensen over te halen zich anders te gedragen.

Op internet leren mensen leven met AI-systemen die ze niet kunnen beheersen. Uber-chauffeurs passen bijvoorbeeld hun rijstijl aan om hun inkomen te optimaliseren. Ons collectieve gedrag heeft al de hele tijd invloed op AI-systemen, maar tot nu toe mist het publiek informatie over wat die invloed eigenlijk is. Deze ondoorzichtige resultaten kunnen een probleem zijn wanneer algoritmen sleutelrollen vervullen in de samenleving, zoals gezondheid, veiligheid en billijkheid. Om dit probleem op te lossen, ontwerpen sommige onderzoekers "society-in-the-loop" -systemen [4]. Anderen ontwikkelen methoden om algoritmen te controleren [5] [6]. Geen van beide benaderingen biedt echter een manier om het dagelijkse gedrag te beheren van systemen waarvan we de code niet kunnen controleren. Onze studie met r / worldnews biedt een derde richting; we kunnen algoritmen overhalen om zich anders te gedragen door mensen over te halen zich anders te gedragen.

Sommige mensen vragen zich misschien af ​​of dit experiment stemmanipulatie inhoudt, wat in strijd is met het beleid van reddit. Onze plaknotities overtreden geen van de regels van reddit voor persoonlijk gewin (we hebben ook geen nepaccounts gemaakt, mensen niet verteld hoe te stemmen of een stemblok organiseren). Maar we hebben wel aangetoond dat het aanmoedigen van mensen om feiten te controleren een systematisch effect had op de algoritmen van reddit.

Het idee van "AI nudges" geeft ons een manier om na te denken over pro-sociale inspanningen om het gedrag van mensen en machines te beïnvloeden met behoud van individuele vrijheid. Richard Thaler en Cass Sunstein stelden voor het eerst 'duwtjes' voor als manieren waarop instellingen hun macht kunnen uitoefenen met behoud van individuele vrijheid [7]. In vergelijking met het verbieden van tabloidnieuws, is de AI duwtje in de rug het aanmoedigen van feitencontrole de lichtst mogelijke actie die moderators kunnen nemen. Niemands vermogen om nieuws, commentaar of stemmen te delen wordt weggenomen, maar de AI nudge dempt nog steeds de verspreiding van onbetrouwbaar nieuws.

Zoals Sunstein en Thaler opmerken, is het niet altijd duidelijk of deze lichte interventies het gewenste resultaat zullen hebben. Daarom moeten we hun effecten systematisch testen, vooral omdat niet-geteste systemen onverwachte resultaten kunnen hebben.

Het bestuur en de ethiek van AI Nudges

Nudges van overheden en sociale experimenten door online platforms trekken vaak soortgelijke kritiek aan. Ik denk dat mensen terecht verantwoording verwachten van degenen die stootkracht uitoefenen. Door met vrijwilligersmoderators te werken, heb ik kunnen werken met een grotere mate van transparantie en verantwoording dan gebruikelijk is bij social computing. Alle CivilServant-onderzoeken zijn ontworpen met en door moderatieteams en alle resultaten worden eerst bekendgemaakt aan de gemeenschap in een subreddit debriefing. Onze studieontwerpen worden openbaar vermeld op het Open Science Framework voordat we beginnen, en al onze code is open source. Volledige analysegegevens zijn ook openbaar, zodat iedereen onze conclusies kan controleren. Het enige dat we achterhouden, zijn de feitelijke gegevens, omdat we de privacy van alle betrokkenen respecteren.

Over het algemeen ben ik hoopvol dat AI-duwtjes, vooral wanneer ze door gemeenschappen zelf worden geleid, een opwindende richting voor het publiek bieden om de rol van algoritmen in de samenleving te beheren en tegelijkertijd de individuele vrijheid te behouden.

Hoe de studie werkte

Voor deze test zijn moderators begonnen met een lijst met nieuwsbronnen die regelmatig klachten ontvangen. Van 27 november tot 20 januari hebben we elke nieuwe tabloidlink willekeurig toegewezen aan een van de drie voorwaarden: (a) geen plakkerige opmerking, (b) een plakkerige opmerking die scepsis aanmoedigt, (c) een plakkerige opmerking die scepsis + stemmen aanmoedigt (volledige details hier ).

We hebben dit bericht bovenaan de tabloidnieuwsgesprekken geplaatst

De tweede moedigt mensen aan om het artikel te controleren en de link te downgraden als ze geen ondersteunend bewijs voor de claims kunnen vinden:

Dit tweede bericht moedigde mensen aan om te overwegen om te gaan stemmen

Kan gedragscontrole invloed hebben op hoe algoritmen van reddit onbetrouwbaar nieuws zien?

Hoewel we ervan overtuigd waren dat r / worldnews-lezers zouden helpen als moderators erom vroegen, vroegen we ons ook af: als we het commentaar op tabloidnieuws verhogen, zouden we per ongeluk reddit's algoritmen kunnen veroorzaken om die tabloidlinks te promoten?

Als feitencontrole de populariteit van onbetrouwbare nieuwsbronnen heeft vergroot, moet de gemeenschap mogelijk opnieuw nadenken over waar ze hun inspanningen kunnen doen. Daarom testten moderators een tweede plakkerige opmerking, die lezers aanmoedigt om te overwegen te stemmen.

Om het effect van de plakkerige opmerkingen op de algoritmen van reddit te testen, verzamelde de CivilServant-software elke vier minuten gegevens over de score van berichten. Het platform publiceert niet precies wat er in de score past of hoe de ranglijst werkt (vroeg ik). We konden echter de positie van de subreddit HOT-pagina van een bericht betrouwbaar voorspellen op basis van zijn leeftijd en score (volledige details hier). Kortom, als feitencontrole een groot effect had op de score van een artikel, dan had dit waarschijnlijk een effect op de positie van een artikel in de loop van de tijd op de voorpagina van de subreddit. Ik heb dit op twee manieren getest: door de scores na 24 uur te vergelijken en door wijzigingen in de scores in de tijd te modelleren.

Ik gebruikte een negatief binomiaal model om het effect op scores na 24 uur te testen. Zoals de algoritmen van reddit tijdens ons experiment stonden, zorgde aanmoediging van feitencontrole ervoor dat inzendingen van de roddelbladen 49,1% (2,04x lager) de score van inzendingen zonder plakkerig commentaar ontvingen na gemiddeld 24 uur in r / wereldnieuws. Het effect is statistisch significant. In dit model heb ik geen effect gevonden van de plakkerige opmerkingen die lezers hebben aangemoedigd om te overwegen te stemmen.

Ik heb ook het effect getest van feitencontrole op de groeisnelheid van de score van een post in de loop van de tijd. Om deze vraag te stellen, pas ik om de vier minuten een willekeurig onderschept lineair regressiemodel op de log-getransformeerde score. Ik ontdekte dat bemoedigende feitencontrole ervoor zorgt dat de scoregroei lager is. Hier vond ik dat bemoedigend stemmen eigenlijk een klein positief effect heeft op de groei van de score in de tijd, gemiddeld. Omdat we het experiment uitvoerden tijdens een wijziging in de algoritmen van reddit begin december 2016, vond ik ook dat het effect van deze plakkerige opmerkingen op de algoritmen van reddit mogelijk is veranderd nadat reddit zijn algoritmen (details) had aangepast.

Wie hielp Fact-Check de nieuwsartikelen?

Van de 930 niet-bot-opmerkingen met links die moderators mochten behouden, droegen 737 gebruikersaccounts links bij voor verder bewijs. Hiervan hebben 133 accounts meer dan één opmerking met links gemaakt. Veel mensen hebben hun eigen inzendingen gecontroleerd, waarbij indieners 81 opmerkingen hebben geplaatst voor meer informatie.

Wat kunnen we niet weten van deze studie?

Deze test kijkt naar de resultaten in discussies in plaats van individuele accounts, dus we kunnen niet weten of individuele mensen ervan overtuigd waren sceptischer te zijn, of dat de plakkerige opmerkingen ervoor zorgden dat al sceptische mensen dit gingen onderzoeken en delen. Ik heb ook geen enkel bewijs over het effect van feitencontrole op lezers, hoewel ander onderzoek suggereert dat feitencontrole de overtuigingen van lezers beïnvloedt [2] [3].

Deze studie kan ons niet veel vertellen over de reden waarom we zo'n grote verandering in algoritmische effecten zien wanneer we de boodschap aanpassen door lezers aan te moedigen om te overwegen om te stemmen. Dit verschil kan een voorbeeld zijn van wat psychologen 'reactantie' noemen, een weerstand tegen suggesties van autoriteiten. Of als nieuws-indieners zich zorgen maken dat hun links kunnen worden neergeslagen, kunnen ze om hulp vragen, waardoor het gedrag van de lezers wordt gecompenseerd.

Zou dit werken met andere soorten links, in andere subreddits of op andere sites? Deze studie is beperkt tot een specifieke community en een lijst met sites. Hoewel ik vermoed dat veel grote online communities van lezers de fact-check-links zouden helpen als moderators erom vroegen, zijn onze bevindingen over het reddit-algoritme veel meer gesitueerd.

We zouden deze vragen kunnen beantwoorden als meer subreddits zouden besluiten soortgelijke experimenten te proberen. Als je geïnteresseerd bent, neem dan contact met me op via reddit om een ​​soortgelijk experiment te bespreken en je aan te melden voor e-mailupdates.

Meer informatie over dit experiment

Mijn promotie omvat het ondersteunen van communities om de effecten van hun eigen moderatiepraktijken te testen. Ik ontwierp dit experiment samen met r / worldnews moderators, en het werd goedgekeurd door de MIT Commissie voor het gebruik van mensen als experimentele onderwerpen. Als je vragen of opmerkingen hebt, neem dan contact op met natematias op redditmail.

Dit experiment, zoals al mijn onderzoek naar reddit tot nu toe, werd onafhankelijk van het reddit-platform uitgevoerd, die geen rol speelde in de planning of het ontwerp van het experiment. Het experiment is nog niet door vakgenoten beoordeeld. Alle resultaten van CivilServant worden openbaar teruggestuurd naar de betrokken gemeenschappen zodra de resultaten gereed zijn, met academische publicaties later.

Alle details van het experiment werden vooraf gepubliceerd in een pre-analyseplan op osf.io/hmq5m/. Als u geïnteresseerd bent in de statistieken, heb ik de volledige details van de analyse gepubliceerd.

Referenties

[1] Salganik, M. J., & Watts, D. J. (2008). De kudde op een dwaalspoor brengen: een experimentele studie van zichzelf vervullende profetieën in een kunstmatige culturele markt. Sociale psychologie driemaandelijks, 71 (4), 338–355.

[2] Stephan Lewandowsky, Ullrich K. H. Ecker, Colleen M. Seifert, Norbert Schwarz en John Cook. Verkeerde informatie en de correctie ervan Blijvende invloed en succesvolle debiasing. Psychological Science in the Public Interest, 13 (3): 106–131, december 2012.

[3] Thomas Wood en Ethan Porter. Het ongrijpbare averechts effect: massale houdingen: standvastige feitelijke naleving. SSRN Scholarly Paper ID 2819073, Social Science Research Network, Rochester, NY, augustus 2016.

[4] Rahwan, Iyad (2016) Society-in-the-Loop: Programmering van het algoritmische sociale contract. Medium

[5] Christian Sandvig, Kevin Hamilton, Karrie Karahalios en Cedric Langbort. 2014. Auditalgoritmen: onderzoeksmethoden voor het detecteren van discriminatie op internetplatforms. Gegevens en discriminatie: kritische problemen omzetten in productief onderzoek, jaarlijkse bijeenkomst van de International Communication Association, 2014

[6] Diakopoulos, N., & Koliska, M. (2016). Algoritmische transparantie in de nieuwsmedia. Digitale journalistiek, 1–20.

[7] Thaler, R. H., & Sunstein, C. R. (2003). Libertarisch paternalisme. The American Economic Review, 93 (2), 175–179.