Zo onderzochten wij radicalisering op YouTube

Eerst geven we een korte verantwoording. Wil je meer weten, dan staat daaronder een uitgebreide versie.

Heeft YouTube een ‘rechts radicaliseringsprobleem’, zoals een groeiende groep onderzoekers stelt? Om die vraag te beantwoorden sloegen De Correspondent en de Volkskrant de handen ineen. Het afgelopen jaar verzamelden we circa 1.500 kanalen, 600 duizend video’s, 120 miljoen reacties, 15 miljoen aanbevelingen en 440 duizend transcripties van video’s. Deze data hebben we met behulp van data-analytici, mediawetenschappers en algoritmedeskundigen geanalyseerd.

We onderzochten onder meer de verbindingen tussen duizenden videokanalen met een reactionair-rechtse inslag, variërend van gematigd (politiek conservatief) tot de extremistische flanken (neonazistisch, alt-right). Deze kanalen volgen elkaar, verwijzen naar elkaar, en doen soms aan gastoptredens bij elkaar.

Waarom namen we de rechtse uitwassen onder de loep en niet de linkse? De aanwezigheid van militant links (revolutionaire marxisten, antifascisten) is vrij marginaal vergeleken met extreem-rechts op YouTube, blijkt uit onze data. Daarbij gaf de opkomst van rechts-populisme in Europa en de VS, die volgens verschillende studies niet los kan worden gezien van de rol van sociale media, ook aanleiding de blik op rechts te richten.

We wilden ook weten welke routes kijkers in de reactionair-rechtse YouTube-scène afleggen en of het hun ideeën beïnvloedt. Om dat te kunnen bepalen, richtten we ons op de miljoenen comments. We onderzochten welke gebruikers de meeste reacties op veel verschillende kanalen achterlieten en wisten zo 175 Nederlanders selecteren. Van hen konden we gedetailleerd reconstrueren welke video’s ze bekeken en welke opvattingen ze op dat moment lieten zien.

We weten niet hoe representatief deze groep is voor de gemiddelde kijker in de reactionair rechtse wereld. Er zijn veel YouTube-gebruikers die nooit een reactie plaatsen; 20 procent van de gebruikers is verantwoordelijk voor 80 procent van de comments. Wel viel op dat de onderzochte groep divers is (qua geslacht en leeftijd), en relatief hoog opgeleid lijkt. Drie commenters hebben we uitgebreid geïnterviewd. Daarnaast hebben we drie studenten gesproken die eveneens veel video’s uit dit universum bekijken.

Dit verhaal is de eerste in een reeks. In een volgend verhaal willen we ingaan op de vraag hoe je politieke radicalisering op sociale media zoals YouTube kunt tegengaan.

***

Al enkele jaren is er een levendige discussie over de rol van sociale media in de opkomst van rechtspopulistische bewegingen in Europa en de VS. Vooral Facebook en Twitter staan volop in de belangstelling vanwege de verspreiding van propaganda, nepnieuws, complottheorieën en hatelijke ideologieën. Vreemd genoeg is er maar weinig bekend over de rol van YouTube, terwijl dat een van de grootste en onder jongeren populairste sociale media is.

Dit riep bij ons een aantal vragen op over YouTube:

Wat is er aan extreme video’s te vinden op YouTube? Wat is daar precies zo extreem aan? Kortom: over wat voor radicalisering hebben we het precies?

Hoe kom je als gebruiker bij die extreme content? Hoe werkt dit soort online radicalisering? Wat is de rol van de makers, de gebruikers en het platform daarin?

Moet daar iets aan gebeuren? Zo ja, wat dan en tot welke dilemma’s kan dat leiden?

Naar deze vragen is, voor zover ons bekend, weinig wetenschappelijk onderzoek gedaan en als dat al is gebeurd, is het soms alweer verouderd omdat het YouTube-platform in de tussentijd flink is veranderd.

Wel verscheen vlak voor en gedurende ons onderzoek, dat wij in de eerste maanden van 2018 begonnen, een aantal artikelen in Engelstalige media over de rol die het aanbevelingsalgoritme zou spelen in de radicalisering van gebruikers. Die zouden door die aanbevelingen in steeds extremere hoeken van het platform worden getrokken en zodoende radicaliseren. De verhalen richtten zich op de verspreiding van complottheorieën, nepnieuws en rechts-extremisme.

In september 2018 publiceerde de Amerikaanse technologiedenktank Data & Society het rapport Alternative Influence: Broadcasting the Reactionary Right on YouTube. Onderzoeker Becca Lewis bekeek over een periode van een jaar hoe bekende rechtse en extreemrechtse vloggers op het platform opereerden om een zo groot mogelijk publiek te bereiken.

We hebben echter besloten om ons onderzoek zoveel mogelijk zelf uit te voeren en een open blik te houden. Op sommige punten komen we dan ook tot andere conclusies dan het eerder verschenen werk hierover.

Belangrijk is dat ons onderzoek nog niet is afgelopen. In dit verantwoordingsstuk richten we ons vooral op de eerste twee vragen (wat is dat extremisme dan en hoe kom je daar). We staan uiteraard open voor feedback. Alle code en de meeste data stellen we beschikbaar, zodat anderen het onderzoek kunnen repliceren, of die gegevens kunnen gebruiken om een eigen onderzoeksrichting in te slaan.

Waarom de nadruk op rechts?

Er is een aantal goede redenen om op dit moment meer aandacht te besteden aan rechts dan aan links.

In Europa en de Verenigde Staten is vooral populistisch, radicaal- en extreemrechts in opkomst. Niet links. Vanuit rechtse hoek wordt er vaak op gewezen dat er geringe aandacht zou zijn voor ‘antifa’ (antifascisten die deel uitmaken van een wereldwijde beweging die al dan niet hardhandig optreden tegen wat zij als fascisme beschouwen). Die is echter summier vertegenwoordigd op platforms als Facebook en YouTube.

Uit de data die wij vergaard hebben, blijkt dat bij links de extreme stromingen, zoals marxisme, anarchisme, maoïsme, antifa, vrij marginaal zijn. Bij de meer gematigde kanalen vind je onderwerpen die ook in de mainstream media worden behandeld: veel over duurzaamheid, racisme en uiteraard Donald Trump. De linkerflank op YouTube lijkt daarmee minder als een alternatief mediaplatform te fungeren, zoals dat bij rechts wel het geval is.

Het bestaande wetenschappelijk onderzoek naar radicalisering op YouTube richt zich op twee vormen: islamitisch- en rechts-extremisme. De betreffende onderzoekers constateren ook dat er op de linkerzijde niet zoveel spannends lijkt te gebeuren.

Wat is dan rechts?

Een exacte categorisering van kanalen en makers is praktisch onmogelijk, want:

Wat extremistisch is, verschilt per land. In Nederland maken de inlichtingen en veiligheidsdiensten bijvoorbeeld een onderscheid tussen radicalisme en extremisme. Grofweg opereert radicaal rechts binnen de parlementaire democratie, terwijl extreemrechts ook bereid is buitenparlementaire middelen in te zetten. In veel andere landen maken ze dit onderscheid niet.

Er zijn nog meer internationale verschillen. Wat in Duitsland als extreem geldt en verboden is, is dat in de Verenigde Staten of Nederland bijvoorbeeld niet. Om internationale kanalen en makers te categoriseren volgens Nederlandse standaarden kan nuttig zijn, maar voelt ook erg geforceerd omdat YouTube een internationaal platform is.

Kanalen en videomakers maken een ontwikkeling door. Neem een populaire vlogger als Stefan Molyneux. Hij is bekend geworden als libertariër, maar is zich steeds meer gaan profileren op het thema ras en IQ en kwam onlangs uit de kast als een witte nationalist (dan streef je een ‘blanke etnostaat’ na). Als je kanalen en makers gaat categoriseren, moet je dus ook een tijdsaspect toevoegen. Dat is ondoenlijk voor de grote hoeveelheid video’s waar het hier over gaat.

Sommige ideeën en makers laten zich niet makkelijk in een hokje stoppen. Op sommige punten zijn ze misschien extreemrechts, op andere juist weer links. En soms is er een verschil tussen wat makers zeggen en hoe ze zich gedragen. Er is bijvoorbeeld een aantal populaire vrouwelijke vloggers die zich afzetten tegen het feminisme en pleiten voor meer traditionele rolmodellen, terwijl ze zichzelf juist niet naar zo’n traditioneel rolmodel schikken.

Enkele bewegingen zou je op het eerste gezicht niet snel onder extreemrechts scharen, maar wel als je er diepgaande kennis van hebt. Dit geldt bijvoorbeeld voor de zogenoemde manosphere, de beweging van mannen die zich - vaak vrij heftig - afzetten tegen feminisme en inzetten voor mannenrechten. Het anti-feminisme zelf is weliswaar wijd verbreid onder zeer rechtse vloggers, maar niet per se het opvallendste kenmerk van extreemrechts. In de praktijk is de manosphere wel met extreemrechts verbonden. Bij de uit de hand gelopen demonstraties van extreemrechts in Charlottesville in augustus 2017, waar alt-right zich voor het eerst massaal in levende lijve manifesteerde, waren bijvoorbeeld veel leden van de manosphere aanwezig. De term ‘redpilling’, veel gebruikt in het reactionair rechtse YouTube-veld, komt oorspronkelijk uit de mannenrechtenbeweging. Met de ‘red pill’, afkomstig uit de film The Matrix, wordt het moment aangegeven waarop je ontwaakt en de ‘linkse leugens’ over feminisme, multiculturaliteit, migratie of het jodendom doorziet.

Tot slot heeft classificeren niet zoveel zin als je daarmee maar een heel kleine kern van kanalen en makers overhoudt die voor 100 procent aan de eisen voldoet om volgens de Nederlandse definities extreemrechts genoemd te worden. We zijn namelijk geïnteresseerd in de ontwikkeling van gebruikers van YouTube. We willen weten hoe ze bij die extreme video’s gekomen zijn. Dat veronderstelt dat er ook een tijd was dat ze minder extreme video’s keken. Die video’s wilden we ook meenemen in de analyse.

We vonden de benadering van onderzoeker Becca Lewis, die in de zomer van 2018 een rapport publiceerde over rechtse influencers op YouTube, nuttig. Zij hanteert de term ‘reactionair rechts’, een verzamelnaam voor vloggers en kanalen waarin de felle afkeer van progressieve waarden als een rode draad door de video’s loopt. Diversiteit, feminisme, social justice warriors (kortweg sjw’s) - reactionair rechtse YouTubers hebben er over de gehele linie een broertje dood aan. Bovendien ontwaren ze een gemeenschappelijke vijand in de reguliere media, die alles vanuit een politiek correcte bril zouden benaderen. De term ‘reactionair rechts’ maakt het mogelijk verschillende stromingen - van gematigd tot extreem - aan elkaar te verbinden, maar ook om de grenzen met een meer gematigde, of linkse buitenwereld te bepalen.

Dataverzameling

We zijn maanden bezig geweest om alle data te verzamelen. We hebben ervoor gekozen om voor zowel reactionair rechts als gematigd tot extreemlinks data te verzamelen.

De selectie van kanalen was erg belangrijk, omdat die bepaalde welke video’s, transcripties, commentaren en aanbevelingen er nog meer verzameld werden.

Voor de rechterkant zijn we begonnen met een lijst te maken van organisaties die door academici, antifascistische onderzoeksgroepen en verschillende media aangemerkt worden als rechtsradicaal- of extremistisch. Van deze organisaties hebben we alle sociale media-accounts verzameld, waaronder hun YouTube-account.

Vervolgens hebben we gekeken op welke kanalen zij zelf zijn geabonneerd, of welke kanalen zij tonen in de zogenoemde ‘featured channels’. De abonnementen zeggen iets over de interesses van de kanalen. De featured channels zijn aanbevelingen die het kanaal zelf selecteert voor zijn gebruikers. Deze kunnen gebruikt worden om gelijkgezinde kanalen te vinden.

Met behulp van de YouTube Data Tools, ontwikkeld door Bernhard Rieder van het Digitial Methods Initiative van de Universiteit van Amsterdam, haalden we deze informatie over abonnementen en featured channels op. Dit leverde enkele duizenden kanalen op. Deze lijst hebben we handmatig gefilterd. Vervolgens hebben we een nieuwe run in YouTube Data Tools gedaan met de gewijzigde lijst en dit proces herhaald. Uiteindelijk leverde dit een lijst van ruim 800 kanalen op.

Bij links zijn we iets anders begonnen. We hebben vooral gekeken welke kanalen in de media als links-extremistisch genoemd worden (we vonden weinig wetenschappelijke publicaties om op terug te vallen). Daarnaast hebben we op enkele linkse fora - zoals op Reddit en 8chan, waar naast veel rechtsextremistische ook enkele exreemlinkse fora zijn te vinden - gekeken welke kanalen er werden aanbevolen. Vervolgens hebben we het ‘iteratieve proces’ van hierboven (kijken naar abonnementen en featured channels, vervolgens filteren) toegepast.

Zijn deze selecties perfect? Waarschijnlijk niet. Ongetwijfeld hebben we kanalen gemist en zitten er kanalen tussen die er niet bijhoren. De grote kanalen, met veel views en video’s hebben we zoveel mogelijk handmatig gecheckt. De kleine, zeer marginale kanalen hebben we vooral gecontroleerd door handig te sorteren en te filteren. Mochten we belangrijke kanalen hebben gemist, dan horen we dat graag.

Video’s

Van deze circa 1.500 kanalen (ruwweg de helft links en de helft rechts) hebben we via de YouTube API meer data opgehaald. Zoals de meeste sociale media maakt ook YouTube het mogelijk om zijn database rechtstreeks te bevragen, dus niet via de website. Daarvoor moet je gebruik maken van een API, een zogenoemde Application Programming Interface.

Hiervoor hebben we een Python library (een verzameling scripts die samen een programma vormen) geschreven die een lijst met kanalen als input neemt en de bijbehorende video’s, transcripties, commentaren en aanbevelingen als output levert. De code, uitgebreid gedocumenteerd en met gebruiksaanwijzing, is in te zien en te downloaden.

We gebruikten de API om metadata van alle video’s van onze selectie kanalen op te vragen, zoals:

- Unieke id’s van video’s;

- Hoe vaak die video’s bekeken waren, geliked, becommentarieerd, etc.

- Wanneer die video’s waren geüpload;

- Titel en beschrijving van de video

Transcripties

Gaandeweg ontdekten we dat we ook over de gesproken tekst in de video’s konden beschikken. YouTube heeft een service waarmee je tijdens het filmpje de gesproken tekst kan weergeven, een zogenoemde transcriptie. Met de populaire Python library youtube-dl lukte het ons om die transcripties automatisch te genereren. Bij ruim 400.000 video’s is dat gelukt.

Comments

Van alle video’s hebben we ook de comments, de reacties dus, kunnen downloaden, waaronder informatie zoals:

1. De unieke id van degene die een comment heeft geplaatst

2. Een link naar diens profielpagina

3. De video waarop is gecomment

4. De tekst zelf, waaronder ook emoji’s

5. Links in de comments, bijvoorbeeld naar andere YouTube-filmpjes

6. Reacties op die comments

Uiteindelijk hebben we zo’n 120 miljoen comments gedownload.

Deze comments delen wij niet zomaar omdat ze zeer gevoelige gegevens bevatten. Het is bijvoorbeeld mogelijk om de identiteit van reageerders te achterhalen en een idee te krijgen van hun politieke overtuigingen. Wil je deze data gebruiken, dien dan een verzoek bij ons in en dan kunnen we afspraken maken over de voorwaarden waaronder we deze data delen.

Aanbevelingen

Via de YouTube API konden we nagaan welke video’s doorgaans direct na elkaar worden bekeken: denk aan mensen die video X bekijken, bekijken ook video Y. Deze aanbevelingen zijn niet gepersonaliseerd, we kunnen hieruit niet concluderen dat mensen die video X bekijken ook altijd video Y aanbevolen krijgen. Dat hangt af van een aantal andere variabelen waar wij geen inzicht (en dus ook geen toegang) tot hebben. YouTube doet net zo geheimzinnig over zijn algoritmes als Coca-Cola over de ingrediënten van zijn frisdrankrecept.

Desondanks hebben we van zoveel mogelijk video’s de vijftig aanbevolen video’s opgevraagd. Die zeggen namelijk wel iets over hoe vaak video’s direct na elkaar worden bekeken. We hebben ongeveer 20 miljoen aanbevelingen binnengehaald.

Andere platforms

Tot slot hebben we ook nog data onttrokken van een aantal andere platforms.

De eerste en belangrijkste is socialblade.com. Deze site houdt sinds 2015 dagelijks statistieken bij van honderdduizenden YouTube-kanalen. Deze data kunnen bijvoorbeeld gebruikt worden om de groei (of krimp) te laten zien van de maandelijkse views en abonnees. Ook geeft socialblade een aantal metrics die gebaseerd zijn op eigen onderzoek. Kanalen krijgen bijvoorbeeld een soort ‘invloed-cijfer’, dus hoe invloedrijk ze zijn ten opzichte van andere kanalen op YouTube. Ook rekent socialblade een potentieel verdienvermogen uit, een ruwe schatting wat kanalen zouden kunnen verdienen op basis van hun views, invloed en de geldende prijzen voor reclame.

Deze metrics zijn zeker interessant, om een aantal indrukken te krijgen.

Het YouTube-kanaal van de Volkskrant heeft bijvoorbeeld deze metrics:

- Grade: C+

- Subscriber rank: 1,001,161st

- Video view rank: 502,428th

- Socialblade rank: 523,376th

- Estimated Monthly Earnings: €29 - €459

- Estimated Yearly Earnings: €344 - €5.5K

Het YouTube-kanaal van De Correspondent heeft bijvoorbeeld deze metrics:

- Grade: C

- Subscriber rank: 1,832,426th

- Video view rank: 5,212,726th

- Socialblade rank: 4,469,657th

- Estimated Monthly Earnings: €0.47 - €8

- Estimated Yearly Earnings: €6 - €90

Stefan Molyneux, een reactionair rechtse vlogger, heeft deze metrics:

- Grade: B

- Subscriber rank: 12,213th

- Video view rank: 10,110th

- Socialblade rank: 43,588th

- Estimated Monthly Earnings: €824 - €13.2K

- Estimated Yearly Earnings:€9.9K - €158.3K

Molyneux scoort dus op alle fronten een heel stuk beter dan wij, althans op YouTube. We hebben besloten deze cijfers verder niet te gebruiken omdat voor ons niet duidelijk wordt waar de berekeningen van socialblade precies op zijn gebaseerd.

Ten tweede hebben we op een aantal andere platforms waar veel extremisten samenkomen gekeken in hoeverre naar YouTube-bronnen werd gelinkt.

- Voor het online forum /pol/ op 4chan - een populaire verzamelplaats van extreemrechts - keken we naar onderzoek van, toen nog, Uva-student Sal Hagen. Uit niet-gepubliceerd onderzoek van hem blijkt dat 75 procent van alle links in /pol/ tussen 2014 en 2017 naar YouTube verwijzen.

- Voor Twitter-kloon Gab, eveneens een verzamelplaats voor extreemrechts, keken we naar onderzoek van het Network Contagion Research Institute in Amerika dat op vernuftige manieren radicalisering op sociale media blootlegt. Uit een analyse van posts op deze rechts-extremistische Twitter-kloon bleken YouTube-filmpjes de meest populaire bronnen.

- Voor Twitter keken we naar het recente onderzoek van J.M. Berger, waarin hij de activiteiten van de alt-right op Twitter bestudeert. Verreweg de meeste links naar bronnen (ongeveer de helft) wijzen naar YouTube.

Analyses

Voor de datavergaring en -analyse hebben we twee hackathons georganiseerd, op 8 september en 28 oktober 2018. Een aantal deelnemers hebben we gevraagd vanwege hun specifieke expertise, zoals topic modelling (geautomatiseerd onderwerpen uit grote hoeveelheden tekst destilleren), netwerkanalyse, kennis van aanbevelingssystemen, programmeervaardigheden en kennis van extreemrechts en sociale media. De overige deelnemers kwamen naar aanleiding van een oproep die we hadden geplaatst. Uiteindelijk hebben circa veertig deskundigen bijgedragen.

Het doel van deze hackathons was om de data te verrijken en verschillende analysemethoden uit te proberen. We hebben bijna alles in de Python programmeertaal (Python 3 om precies te zijn) gedaan en soms de taal R gebruikt om code en uitkomsten te verifiëren.

Een groep hield zich bijvoorbeeld bezig met sociale netwerkanalyse. We hadden van alle reactionair rechtse kanalen informatie over op welke kanalen zij geabonneerd waren en welke kanalen zij in de ‘featured channels’-sectie van hun pagina’s aanbevolen. De data gaven een goed overzicht van de ideologische verwantschap tussen kanalen. We hebben de abonnementen en ‘featured channels’ met het programma Gephi in een netwerk gevisualiseerd. Op die manier ontstaan clusters van kanalen die onderling op elkaar geabonneerd zijn. Als je uitzoomt van zo’n netwerk, zie je groepen van kanalen samenklonteren die inhoudelijk op elkaar lijken. We hebben deze data daarom als basis genomen om een soort universum te schetsen dat we konden gebruiken om verschillende ideologische stromingen binnen YouTube te laten zien. Het resultaat is dit dynamische verhaal. De Gephi file vind je hier en daarin vind je ook alle (algoritme-)instellingen die we hebben gebruikt om dit netwerk te genereren.

Andere groepen hebben zich beziggehouden met inhoudelijke analyses, dus: waar gaan de video’s over en hoe gedragen reageerders zich onder die video’s?

Om achter die onderwerpen te komen, hebben we verschillende analysemethoden toegepast. De eenvoudigste is het bestuderen van de ‘tags’ bij de video’s. Makers die filmpjes uploaden, voorzien die van tags die de inhoud van die video’s omschrijven. Die tags konden we via de API opvragen. Die zijn ook makkelijk te doorzoeken met behulp van zogenoemde reguliere expressies (regex), een soort tekstpatronen die je heel flexibel kunt definiëren.

Als je bijvoorbeeld tags wilt vinden die iets verraden over antifeminisme, kun je dit soort termen gebruiken die hopelijk ook varianten van woorden vinden, zoals:

‘mgtow’: mgtow staat voor ‘men going their own way’, mannen die vrouwen afzweren.

‘^rape’: De carrot ‘^’ voor rape zegt de computer dat het woord moet beginnen met ‘rape’. Met deze term wordt bijvoorbeeld ‘rapefugees’ gevonden.

‘proud boys’: De Proud Boys is een groep geradicaliseerde mannen die vrouwen afzweren, maar ook rechtsextremistisch zijn.

‘incel’: Een incel is iemand die ‘involuntary celibate’ is, in de praktijk mannen die geen seks kunnen krijgen.

‘Manospher’: De manosphere is de online gemeenschap van rabiate antifeministen.

‘Hypergam’: Dit patroon verwijst naar de term ‘hypergamy’, het idee dat vrouwen een man boven hun stand proberen te krijgen. Mannen van lager aanzien blijven daardoor alleen achter, zo is het idee.

‘Gynocentr’: Dit verwijst naar de term ‘gynocentrism’, dus een ‘ongezonde’ aandacht voor het vrouwelijke perspectief, het idee dat de samenleving teveel rekening houdt met vrouwen.

‘Briffault’: Dit verwijst naar Briffault’s Law, kort gezegd, het idee dat vrouwen bepalen met wie ze paren en dat de mannen eigenlijk nergens op kunnen rekenen.

‘gold digg’: Dit verwijst naar ‘gold diggers’, of ‘gold digging whores’, vrouwen die alleen bij een man blijven voor status of geld.

‘Alpha fucks’, ‘alfa fux’: Verwijst naar Alpha Fucks Beta Bucks. Vrouwen kiezen voor stabiliteit met beta-mannen met geld, maar kloppen voor seks liever aan bij alfa-mannen.

‘Misandry’: mannenhaat

En bijvoorbeeld ‘whores’, ‘vagina’ en ‘parasitic women’.

Met deze termen vonden we bijna 1900 video’s die een variant hierop als tag hadden.

Voor antisemitisme zien die termen er zo uit:

‘Holohoax’: Het idee dat de holocaust een verzinsel is.

‘^jq’, of ‘jewish question’: Dat staat voor de vermeende ‘almacht’ van Joden in de wereld, en roept de vraag op hoe dat probleem moet worden opgelost.

‘^zog’, ‘zionis: ZOG staat voor de Zionist Occupation Government complottheorie.

Dit leverde ruim 1500 video’s op.

Vervolgens konden we deze groepen video’s verder onderzoeken. Wie zijn de makers? Waar hebben ze het over? Wanneer zijn welke onderwerpen populair?

Tot slot kun je ook gewoon naar de video’s kijken. Het zijn er dermate veel dat het ondoenlijk is ze allemaal te zien, maar we hebben in het najaar honderden filmpjes bekeken die populair zijn bij een groep Nederlandse reageerders, daarover zo meer. Ook hebben we uitgebreid gesproken met de al eerder genoemde onderzoeker Becca Lewis die voor haar rapport Alternative Influence een jaar lang video’s keek in de reactionair rechtse YouTube-scene. Die filmpjes gaven haar en ons veel inzicht in de thema’s die populair zijn, maar ook de productiekwaliteit en vorm waarin de content wordt gebracht.

Het belangrijkste inzicht van de twee hackathons was misschien wel dat we de focus van het onderzoek iets moesten verleggen. We keken de hele tijd naar alle content, van gematigd tot zeer extreem om daar trends in te ontdekken. Maar een andere benadering bleek voor onze doeleinden (het vinden van radicalisering) veel meer voor de hand liggen: zoek op plekken op YouTube waar extreme content te vinden is en kijken wie daar reageert. Daarnaast hebben we gezocht naar zeer actieve reageerders.

Dit bleek een goede greep.

Een aantal mensen van het Digital Methods Initiative van de Universiteit van Amsterdam zocht tijdens de tweede hackathon naar extreme video’s, bijvoorbeeld naar termen als ‘holohoax’. Vervolgens werd gekeken welke reageerders positief waren over die video’s. Stap drie was kijken onder welke video’s en op welke kanalen die reageerders kort daarvoor en daarna een comment hadden achtergelaten. Daarmee kregen we een interessant netwerk van kanalen te zien, waarin het kanaal The Alternative Hypothesis ineens heel prominent in naar voren kwam. De groep van de UvA is verder gegaan met onder andere dit onderzoek en is bijna zover het resultaat naar buiten te brengen.

Wij besloten ondertussen te kijken naar de actieve gebruikers, in het bijzonder Nederlandse actieve gebruikers omdat we die ook konden benaderen voor diepte-interviews. Allereerst hebben we onder de Nederlandse content gekeken wie er veel reageert (meer dan honderd keer) en op veel verschillende kanalen (meer dan tien kanalen). Dit zijn de veelgebruikers. Vervolgens hebben we gekeken waar die gebruikers nog meer reageren, dus in het rechts reactionaire veld, maar ook in het linkse veld. Uit die groep hebben we tenslotte gebruikers met een Nederlandse naam gevist, of mensen die in het Nederlands reageren. Dat was veel werk, dus we hebben ons beperkt tot 175 gebruikers.

De meesten bleken erg interessant voor ons onderzoek. We konden zien welke gebruiker onder welke video en wanneer had gereageerd, en hadden ook de tekst van de reacties. De meesten hadden honderden, zo niet duizenden reacties achtergelaten, waardoor het ook mogelijk was om een ontwikkeling te zien in het soort kanalen dat ze bekeken, althans, waar ze een reactie achterlieten.

Aangezien het opsporen van mensen (die niet altijd onder eigen naam reageren), het overhalen om mee te werken aan een interview en het gesprek zelf (dat zo een paar uur kan duren) veel werk is, hebben we ons beperkt in het aantal gebruikers dat we hebben uitgelicht. Het resultaat is te lezen in het grote verhaal dat we vandaag publiceren.

De aanbevelingen

We hebben ons niet alleen op de inhoud en de gebruikers gericht, maar ook op de dynamiek van het YouTube-platform zelf. Een van de beschuldigingen die in andere media zijn geuit is namelijk dat het aanbevelingsalgoritme radicalisering in de hand werkt doordat mensen steeds extremere video’s krijgen voorgeschoteld.

Wij wilden deze stelling testen met een eigen experiment.

Een van de eersten die deze beschuldiging uitte was Guillaume Chaslot, een oud-medewerker van YouTube. Hij heeft software geschreven die automatisch aanbevelingen opvraagt. Die software kun je ook zoektermen meegeven.

We hebben zijn software aangepast en er een programmaatje van gemaakt dat mensen op hun computer kunnen uitvoeren. Dat programma zoekt naar de volgende termen en klikt dan vier keer door op de vier bovenste aanbevelingen: Thierry Baudet, Sylvana Simons, Kajsa Ollongren, Feminisme, Zwarte Piet, Holocaust, Vluchtelingen, Islam, Slavernijverleden en Eurocrisis. Dit zijn termen die op zich neutraal zouden moeten zijn, maar waar zeer gepolariseerd over gedacht wordt.

We hebben uiteindelijk bijna 80 mensen bereid gevonden de code op hun computer te draaien, waaronder veel HBO- en MBO-studenten, met wie we ook klassikaal en met sommigen individueel gesprekken hebben gevoerd.

Hoewel we veel resultaten hebben, zijn we tot de conclusie gekomen dat het beter is ze niet te gebruiken. We hadden teveel twijfels over het onderzoek.

Daarmee hebben we ongeveer twee weken werk moeten weggooien, maar het was wel een leerzame ervaring, in de zin dat we ons echt moesten verdiepen in het algoritme en daar een beter beeld van hebben gekregen. Het maakte het voor ons makkelijker om in gesprek te gaan met deskundigen en zwaktes in andermans onderzoek te herkennen.

Wat we achteraf anders hadden gedaan en beter hadden kunnen doen of wat er volgens ons nog moet gebeuren

1. We hebben naar politiek/maatschappelijk links en rechts gekeken. We hadden ook een middensegment kunnen samenstellen. Dan hadden we een nog beter zicht gehad op de ontwikkeling van gebruikers. We zagen bijvoorbeeld veel mensen aanvankelijk actief zijn op links-progressieve kanalen, zoals The Young Turks en later naar rechts opschuiven. Dan zullen er vermoedelijk ook gebruikers van meer centristische kanalen zijn opgeschoven.

2. We nodigen onderzoekers van harte uit om de linker YouTube-sfeer onder de loep te nemen. Op basis van de video’s die wij hebben, denken wij dat het extreem linkse gedachtegoed vrij marginaal is, maar dat neemt niet weg dat er allerlei interessante ontwikkelingen zijn te vinden die iets zeggen over de aard en methoden van hedendaagse linkse bewegingen. Mocht je hiermee aan de slag willen gaan, neem dan even contact met ons op.

3. We hadden graag een beter experiment ontworpen om de invloed van de aanbevelingen van YouTube te meten. Tot op heden hebben we nog geen goede manier daarvoor gevonden, die ook praktisch (tijd en geld) uitvoerbaar is. Ook hier geldt: ideeën zijn van harte welkom.

Deze productie kwam tot stand met hulp van veel vrijwilligers die op twee hackathons hebben meegeholpen data te vergaren en te analyseren. Extra dank voor een aantal van hen die uitzonderlijk veel werk hebben verricht: Olaf, Codrin, Max en Daniel.

De Correspondent is financieel gesteund door het Fonds Bijzondere Journalistieke Projecten. De Volkskrant heeft geen steun ontvangen voor haar werk.